| 基于MapReduce和HBase的 海量网络数据处理 |
| |
| 引用本文： | 景晗.基于MapReduce和HBase的 海量网络数据处理[J].科学技术与工程,2015,15(34). |
| |
| 作者姓名： | 景晗 |
| |
| 作者单位： | 武汉大学电子信息学院 |
| |
| 基金项目： | 国家自然科学基金项目（面上项目，重点项目，重大项目） |
| |
| 摘 要： | 根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。
|
| 关 键 词： | MapReduce HBase 网络数据 分布式计算 |
| 收稿时间： | 2015/7/10 0:00:00 |
| 修稿时间： | 2015/10/14 0:00:00 |
MapReduce and HBase Based Network Data Processing |
| |
| Jing Han.MapReduce and HBase Based Network Data Processing[J].Science Technology and Engineering,2015,15(34). |
| |
| Authors: | Jing Han |
| |
| Abstract: | |
| |
| Keywords: | MapReduce HBase network data distributed?computation |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《科学技术与工程》浏览原始摘要信息 |
| 点击此处可从《科学技术与工程》下载免费的PDF全文 |
