| 基于哈希表的 MapReduce 算法优化 |
| |
| 引用本文： | 李瑞霞,刘仁金,周先存.基于哈希表的 MapReduce 算法优化[J].山东大学学报(理学版),2015(7). |
| |
| 作者姓名： | 李瑞霞 刘仁金 周先存 |
| |
| 作者单位： | 皖西学院信息工程学院,安徽 六安,237012 |
| |
| 基金项目： | 国家自然科学基金青年基金资助项目(61303209)；六安市定向委托皖西学院市级研究项目(2013LWA004)；安徽省教育厅重点项目 |
| |
| 摘 要： | 分布式并行计算是提高计算机性能常用的方法，但针对不同需求，并行程序的设计并没有统一的模型与方法，使得并行程序的编写完全依靠开发人员的经验。Google 公司提出的分布式并行编程模型 MapReduce 能够完成特定类型的并行程序的开发与运行。使用哈希表对 MapReduce 分布式并行编程模型进行优化，减少中间结果中的碎片，并省略 Combiner 中间函数的调用，减少传输负载，提升运行效率，同时兼顾了 Map 函数与 Reduce 函数接口的属性，保持了 MapReduce 模型的并行性特点。
|
| 关 键 词： | 分布式 并行 MapReduce Map 函数 哈希表 Hadoop |
Optimization on MapReduce algorithm based on Hash table |
| |
| LI Rui-xia,LIU Ren-jin,ZHOU Xian-cun.Optimization on MapReduce algorithm based on Hash table[J].Journal of Shandong University,2015(7). |
| |
| Authors: | LI Rui-xia LIU Ren-jin ZHOU Xian-cun |
| |
| Abstract: | |
| |
| Keywords: | distributed parallel MapReduce Map function Hash table Hadoop |
|
