Hadoop加速比性能模型研究

MapReduce编程模型被看作是Hadoop的核心组件,一直以来都受到广泛的应用和研究,但针对Hadoop云平台的性能研究主要集中在配置调优和分布式算法等方面,缺乏对Hadoop加速比性能模型的理论研究.针对此问题提出了Hadoop云平台加速比性能模型,并分别在同构机群和异构机群架构上对该模型进行了分析.针对同构机群提出了3种I/O负载模型,并指出了其对加速比的影响;指出了异构机群不适合做Hadoop云平台的原因及异构性对Hadoop云平台造成的影响.这些研究对Hadoop云计算平台的搭建及如何提高Hadoop云平台加速比性能有很好的指导作用,提供了理论依据.     

云环境下基础设施层的研究与设计

云计算是当前计算机技术的一次革命.云计算对用户表现为各种服务,包括基础设施即服务、平台即服务、软件即服务.其中基础设施层为用户提供硬件资源,是其他各层提供所有服务的基础.对基础设施层的物理构成及其功能进行研究,设计了一个小型的云计算环境下的基础设施层,主要包括总体设计、虚拟化方案以及服务流程,该设计模型能够完成所有基础设施层应具备的基本功能,适应各类型基础设施服务提供企业融入云环境并为用户提供服务.     

面向云计算的任务调度算法研究

云计算中任务调度对云计算的整体性能有重要影响.归纳了云计算调度的特点和性能指标,指出云计算任务调度研究的主要进展.从传统任务调度算法、Hadoop中的任务调度算法、智能化的任务调度算法等方面概括、分析和比较了不同算法的算法思想、实现机制、达到的性能要求.最后,讨论了现有任务调度策略存在的问题,结合云计算面向服务的特点对云计算任务的研究进行展望.     

一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

基于支持向量机的任务调度模型

云计算框架大大改进了并行算法的实现难度,但是大部分算法有其局限性.介绍了MapReduce(映射化简)的基本实现原理和调度模型的缺陷,提出了基于支持向量机的的MapReduce进化算法,并给出了基本模型及实现.运用Hadoop云计算平台进行了仿真验证,实验结果表明,基于支持向量机的MapReduce计算框架在候选云节点的调度分配的准确性上有明显提高,并且加快了数据迭代的效率.     

云计算及其架构模式

为了构建有效、稳定的云计算平台环境并对其应用性能进行研究,采用理论分析和实践设计的方法,研究了云计算的关键技术,包括云数据中心串联、云数据存储管理技术和云编程模型,提出了一个通用的云计算架构模型,实现了一个基于Hadoop的实际云平台。研究结果表明:该通用架构模型与NIST模型具有良好的一致性,构建的云平台具有较好的分布式计算性能。该成果对云计算架构模型的研究具有一定的理论指导意义和实际应用价值。     

基于云平台的软件服务流体系结构

为了对大规模的数据访问和海量海洋信息的处理提供可靠实时的云计算服务, 结合工作流与软件即服务(software-as-a-service, SaaS)的思想, 提出软件服务流的概念, 并构建基于云平台的软件服务流体系结构的系统. 服务流引擎在整个系统中处于底层, 与Hadoop平台进行交互, 运行自行设计的服务流解析与重组算法处理用户请求, 并交付下层执行, 且为上层提供资源表述性转移(representational state transfer, REST)架构风格的服务流监控和资源管理的透明接口, 降低了开发的复杂性, 提高系统的可伸缩性. 用户能够通过Web端访问, 定制个性化软件服务, 并且能实时监控云平台. 在该平台上, 大规模数据访问、高并发以及高密度的访问也是一种常态. 通过构建初步的原型系统, 证明平台体系结构的可用性和高效性.     

基于多目标蚁群优化的知识即服务动态组合策略

为了以Web服务方式实现云计算环境下的知识共享和知识融合,提出了一种基于多目标蚁群优化的知识即服务组合策略.该策略中,结合云计算环境的动态性和知识即服务的质量规则,从知识服务提供者的角度构建了知识即服务动态组合模型;同时,为了利用问题的特征信息引导蚂蚁的搜索行为,设计了蚁群算法相应的信息素和启发信息,从而实现多目标优化.在云计算平台下使用真实的Web服务实例进行仿真实验,将该策略与基于遗传算法和协同进化算法的策略进行比较,结果表明,文中策略的性能和解的质量均明显较优.     

基于MapReduce的HITS算法的实现

在对HITS算法和基于MapReduce编程模型的云计算框架Hadoop的研究基础上,利用Hadoop来重新设计并实现HITS算法.同时,在实验中分析了不同blocksize和集群规模对算法执行效率的影响.实验表明:当blocksize过大时,由于没有充分利用集群的并行特性,算法效率逐渐降低,而适当扩大集群规模,算法运行效率会逐渐提高.     

基于云计算政务网络安全集中管理

 云计算为电子政务应用发展提供了有效的支撑平台,可以帮助解决3个方面的问题：安全性、性能和成本.研究在云环境下建设面向SaaS的安全集中管理云（ISeM Cloud）的途径,提出5层的总体框架结构,给出了系统关键的服务和任务的OWL描述模型,用户任务分解、调度的管理方法.系统基于Hadoop开源软件搭建的云基础设施环境设计,服务基于Map/Reduce编程模式实现.ISeM云解决了安全集中管理多级单独部署的问题,提高了政务网管理效率、节省了应用成本.     

基于综合形式(PAAS+IAAS)的云计算平台的研究与构建

云计算平台分为三个层次,分别是软件即服务层(SaaS)、平台即服务层(PaaS)和基础设施即服务层(IaaS)。目前现行的云计算平台所属的层次都比较单一,如Google的AppEngine和WindowsAzure属于PaaS层,Amazon Web Service属于IaaS层。为了让一个云计算平台提供属于多种层次的服务,本文构建了一个同时属于IaaS和PaaS层的简易云计算平台,它不但可以提供平台服务,而且还能够提供基础设施服务。     

异构网络垂直切换性能参数分析及算法研究

以蜂窝网与无线局域网(WLAN)融合为例,研究异构网络之间的垂直切换算法.对影响切换算法性能的各网络端及用户端参数进行了分析研究,包括参数的定义、在不同接入网中的取值范围、参数之间的关系及参数的归一化等.针对参数对切换算法及系统性能的影响,进行了参数分类,将参数分为切换先决条件、切换判决条件及切换辅助条件,并根据参数分类提出了新的垂直切换算法.该算法采用可变权值,即算法中各性能参数的权值依据用户业务特性,移动模型及用户对各网络的喜好等因素进行动态调整.与目前固定权值的垂直切换算法相比.提出的算法考虑了不同用户特性及QoS需求,可提高用户满意度及网络整体性能.     

支持云计算环境的MapReduce模拟器设计

针对云计算环境下很难确定出有助于实现良好性能的Hadoop参数集的问题,设计了一种MapReduce模拟器.首先,对Hadoop的各种参数进行建模;然后,集群读取元件从集群中读取参数,从而创建模拟的Hadoop集群环境;最后,利用作业跟踪器跟踪模拟的作业,并利用任务跟踪器运行单个任务.所设计的模拟器从多角度研究Hadoop应用的性能,集中模拟Hadoop的映射和化简行为,弥补了MRPerf设计的不足.在基准测试结果和用户自定义MapReduce应用中验证了模拟器的有效性.     

基于Hadoop建立云计算系统

云计算是2007年底正式提出的一个新概念,本文分析了云计算的特征和Hadoop的作用地位.针对Hadoop这样一个在集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现,并进行了实验验证.     

一种流程工业的分布式海量报警管理系统

提出了一种应用于流程工业的分布式海量报警管理系统,利用Hadoop平台的分布式可扩展特性实现了海量报警数据的可靠存储和高效处理.在数据存储层,通过合理的列式存储结构设计,实现了海量报警数据的分布式集群存储;在信息查询层,实现了类MapReduce过程的报警管理系统分布式并行查询模型;在功能应用层,根据业务需求实现了基本的报警管理功能模块.测试结果表明,面对海量报警数据的应用场景,基于Hadoop平台的分布式海量报警管理系统比传统报警管理系统具有更为出色的性能.     

基于Hadoop云计算平台的文本处理算法的研究与改进

Hadoop是Apache基金会下的一个开源分布式计算平台,以分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。在对Hadoop进行深入分析和研究的基础上,搭建基于Hadoop的云计算平台,并完成分布式文本文件处理任务以及对文件文本内容处理算法的改进和实现。     

云计算模型在铁路大规模数据处理中的应用

对铁路行业的计算资源、数据处理进行了特征分析.探讨了云计算模型中的虚拟化技术在铁路计算资源整合及MapReduce编程模型在大规模数据处理中的应用模式.采用Hadoop开源平台和Intel的虚拟化管理平台Tashi,提出和实现了基于云计算技术的铁路数据处理框架模型,并通过大规模的货票数据处理实例验证了框架模型的可扩展性和高效性.     

基于云计算的智能电网负荷预测平台架构研究

提出一种基于云计算的智能电网负荷预测平台架构.深入地阐述了云计算关键技术、负荷预测云架构、云平台负荷预测服务等.采用Hadoop云计算技术,对负荷预测的资源调度和计算进行虚拟云计算仿真,验证了以电力私有云为基础建立的负荷预测机制更优良.同时在云平台负荷预测服务中引入多维多级协调优化机制,对原始预测结果进行修正与协调优化,显著地提升了基于云计算的智能电网负荷预测水平.由此搭建的平台架构将为智能电网负荷预测提供广阔的思路与有力的技术支持.     

基于云计算的多目标服务调度算法的改进研究

在研究现有云计算服务调度算法的基础上,设计了基于QoS的分布式多目标服务调度算法。该算法兼顾用户需求和系统整体性能,依据完成时间、费用、开销和负载均衡多个参数进行服务调度,从而获得较好的调度质量。仿真实验表明该调度算法能够满足云用户的QoS要求,调节云内各种设备的负载均衡,提高云计算平台运行效率。     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.