| 多核处理器中基于MapReduce的哈希划分优化 |
| |
| 引用本文： | 袁通,刘志镜,刘慧,王梓.多核处理器中基于MapReduce的哈希划分优化[J].西安交通大学学报,2014,48(11):97-102. |
| |
| 作者姓名： | 袁通 刘志镜 刘慧 王梓 |
| |
| 作者单位： | 西安电子科技大学计算机学院,710071,西安 |
| |
| 基金项目： | 国家科技支撑计划资助项目，陕西省科技统筹创新工程计划资助项目 |
| |
| 摘 要： | 针对传统的并行哈希划分算法不能高效地利用多核处理器的并行资源,且不能较好处理有倾斜的输入数据的问题,提出了一种在多核处理器中基于MapReduce的哈希划分算法,并且提出了存储结构优化、多步划分优化、数据倾斜优化3种优化策略。该算法将输入数据分成若干块后提交给各个线程并行处理,并选择合适的策略避免写冲突,使其能够高效地利用多核处理器的并行资源。文中提出的哈希表能够提高cache效率,从而提升算法的整体性能。引入MapReduce模型可使多步哈希划分在Map过程和Reduce过程中分别进行;数据倾斜优化策略能使算法适应有倾斜的输入数据,且具有较好的效果。实验结果表明:在多核处理器中,文中提出的算法能够适应各种分布的输入数据,并且使哈希划分的整体性能得到提升。
|
| 关 键 词： | 数据划分 哈希处理 多核处理器 MapReduce模型 |
Hash Partitioning Optimizations Based on MapReduce for Chip Multiprocessors |
| |
| YUAN Tong
,
LIU Zhijing
,
LIU Hui
,
WANG Zi.Hash Partitioning Optimizations Based on MapReduce for Chip Multiprocessors[J].Journal of Xi'an Jiaotong University,2014,48(11):97-102. |
| |
| Authors: | YUAN Tong LIU Zhijing LIU Hui WANG Zi |
| |
| Abstract: | |
| |
| Keywords: | data partitioning hashing multicore processors MapReduce framework |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
