| Hadoop集群效能建模与评价 |
| |
| 引用本文： | 冯东煜,朱立谷,张雷.Hadoop集群效能建模与评价[J].中国传媒大学学报,2017,24(1). |
| |
| 作者姓名： | 冯东煜 朱立谷 张雷 |
| |
| 作者单位： | 中国传媒大学计算机学院,北京,100024;中国传媒大学计算机学院,北京,100024;中国传媒大学计算机学院,北京,100024 |
| |
| 摘 要： | 随着大数据技术的研究深入,Hadoop集群效能问题越来越引起业界的关注.如何有效地利用计算资源,使有限的资源发挥出最大的效能,成为大数据应用中一个迫切需要解决的问题.本文对Hadoop集群效能进行建模研究,建立以Hadoop集群单位时间完成的任务量与消耗能耗的比值来定义的Hadoop集群效能度量模型,并且基于该模型给出测量Hadoop集群效能所需的参数和度量方法.对不同硬件配置的Hadoop集群,选取CPU密集型和L/0密集型任务进行效能测试与评价.由测试结果可以得出机架服务器组成的Hadoop集群适合处理TB级的大规模数据,而PC组成的Hadoop集群更适合在要求不十分苛刻的场景处理10GB级及以下的中小规模数据,对生产环境中的Hadoop集群选型具有一定指导意义.
|
| 关 键 词： | Hadoop 集群 效能 MapReduce |
Hadoop Cluster Productivity Modeling and Evaluation |
| |
| FENG Dong-yu,ZHU Li-gu,ZHANG Lei.Hadoop Cluster Productivity Modeling and Evaluation[J].Journal of Communication University of China Science and TEchnology,2017,24(1). |
| |
| Authors: | FENG Dong-yu ZHU Li-gu ZHANG Lei |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
