异构云环境下MapReduce高效性的优化研究
DOI:
作者:
作者单位:

河北工程大学 信息与电气工程学院,河北工程大学 信息与电气工程学院,河北工程大学 信息与电气工程学院

作者简介:

通讯作者:

中图分类号:

TP302

基金项目:

河北省高等学校科学技术研究重点项目(ZD2014054);河北省重点基础研究项目(14964206D)


Research on High Efficiency Optimization of MapReduce in Heterogeneous Cloud Environment
Author:
Affiliation:

School of information and electrical engineering,Hebei University of Engineering

Fund Project:

The key project of higher school in hebei province science and technology research(ZD2014054);The key basic research project of hebei province(14964206D)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    为提高MapReduce在异构云计算环境下的执行效率,提出一种异构环境下基于负载类型的自适应调度算法——Adaptive Scheduler Based on Workload Type in Heterogeneous Environment(ASBT-HE),通过反馈运行结果到JobTracker将后续任务根据负载类型分配到相应的TaskTrackers上。但为满足用户的QoS需求、更好的平衡系统负载,将该算进一步法优化为——Better ASBT-HE (BASBT-HE)。 BASBT-HE能够在考虑QoS约束的基础上根据负载情况自动调整ASBT-HE中队列的长度。仿真实验结果表明优化后的MapReduce在异构云计算环境下具有高效性,并且考虑了用户QoS需求,简化了系统参数配置。

    Abstract:

    To improve the efficiency of MapReduce in heterogeneous cloud computing environment, the paper presents an adaptive scheduler based on workload type in heterogeneous environment (ASBT-HE). It feeds back results to the JobTracker to assign subsequent tasks to corresponding TaskTrackers. But in order to meet user’s QoS requirements and better balance the loads of system, ASBT-HE is optimized a better ASBT-HE (BASBT-HE).On the basis of considering the QoS constraints, BASBT-HE can adjust the length of queues in ASBT-HE automatically according to the actual loads. The ruslts of simulation experiments show that the optimized MapReduce has high efficiency in heterogeneous cloud computing environment. And it considers the user’s QoS requirements and simplifies the system configuration.

    参考文献
    相似文献
    引证文献
引用本文

黄伟建,周鸣爱,杜巍. 异构云环境下MapReduce高效性的优化研究[J]. 科学技术与工程, 2014, 14(31): .
HUANG Wei-jian,,DU Wei. Research on High Efficiency Optimization of MapReduce in Heterogeneous Cloud Environment[J]. Science Technology and Engineering,2014,14(31).

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2014-06-19
  • 最后修改日期:2014-06-19
  • 录用日期:2014-07-11
  • 在线发布日期: 2014-11-06
  • 出版日期:
×
律回春渐,新元肇启|《科学技术与工程》编辑部恭祝新岁!
亟待确认版面费归属稿件,敬请作者关注