基于Hadoop的云平台在海量Web数据分析中的应用研究
南京大学 陈富汉
为了提高传统单一节点在海量Web数据分析和挖掘中存在时间和空间效率，通过分析Hadoop云计算开源平台技术的国内外研究现状和发展趋势，基于Hadoop开源框架分布式文件系统(HDFS)和Map/Reduce编程模型，研究了海量Web日志性能指标和一种Web挖掘算法的Map/Reduce化过程，设计了海量Web数据分析系统架构，搭建了Hadoop开发平台，实现了一个分布式的海量Web数据分析系统的开发。该系统集成了数据和应用，并通过Hadoop的应用程序编程接口(API)连接到Eclipse中，利用Maven管理和构建Hadoop项目，实现任务之间的共享操作。 通过在虚拟机搭建了4个节点的Hadoop集群环境系统测试平台，测试分析了该系统和传统系统的Shell脚本处理，统计分析了Hadoop平台Web日志数据的采集和其关键绩效指标(KPI)，完成基于物品的协同过滤算法并行程序测试，测试结果表明该系统有效提高了海量Web数据分析和挖掘的时间和空间效率。
