| 支持大规模流数据处理的在线MapReduce数据传输机制 |
| |
| 引用本文： | 魏晓辉,李聪,李洪亮,李翔,刘圆圆,李丽娜,庄园.支持大规模流数据处理的在线MapReduce数据传输机制[J].吉林大学学报(理学版),2015,53(2):273-279. |
| |
| 作者姓名： | 魏晓辉 李聪 李洪亮 李翔 刘圆圆 李丽娜 庄园 |
| |
| 作者单位： | 吉林大学 计算机科学与技术学院, 长春 130012 |
| |
| 基金项目： | 国家自然科学基金(批准号:61170004);教育部高等学校博士学科点专项科研基金(批准号:20130061110052);吉林省科技发展计划重点科技攻关项目(批准号:20140204013GX);深部探测技术与实验研究专项基金(批准号:SinoProbe-09-01);吉林大学基本科研业务费专项基金(批准号:450060491439) |
| |
| 摘 要： | 针对流数据规模参差不齐、流量动态变化且突发性较强的特点,提出一种可伸缩的动态MapReduce计算模型,支持大规模动/静态数据在线处理.基于Event推送方式,利用Netty底层异步通信方式等技术,建立在线MapReduce数据传输机制,进一步实现其原型程序,解决了大规模分布式计算程序的快速在线传输和数据分发等问题,支持流数据动态分发机制,为动态MapReduce模型提供支撑.与HadoopOnline系统的传统Socket管道传送方式相比,该方法能有效提高作业之间数据的传送效率,从而提高大规模流数据处理的实时性.
|
| 关 键 词： | 大数据 流数据处理 MapReduce模型 数据传输机制 |
| 收稿时间： | 2014-05-08 |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《吉林大学学报(理学版)》浏览原始摘要信息 |
| 点击此处可从《吉林大学学报(理学版)》下载免费的PDF全文 |
|
