分布式并行编程模型MapReduce及其应用研究

在传统的并行编程模型中,对大量数据如何进行并行计算、如何为每个任务分发数据、如何处理单点故障等问题,都需要大量的程序分析和设计,这些问题的有效处理都需要程序员显式地使用有关技术来解决.对于程序员来说,这是一项具有极大困难的工作,使得原本简单的运算反而变得非常复杂,这些问题的存在也在一定程度上制约了并行程序的普及.而MapReduce计算模型能有效地解决上述问题,阐述了Google的MapReduce计算模型的实现机制,并通过实例描述了该模型的执行过程.     

基于MapReduce的大数据在线聚集优化设计

针对大数据在线聚集执行时间长、执行性能及延迟调度性能较差的问题,提出基于MapReduce的大数据在线聚集优化程序设计.使用分片聚集方法使集群中所有机器的计算资源得到充分调用,采用子连接的启发式优先方法优化各节点本地执行连接任务关系运算,实现大数据在线聚集的并行连接.利用混合近似查询框架的大数据在线聚集动态切换机制及基于渐进近似估计的动态切换机制,降低混合近似查询切换误判率,增强大数据在线聚集的执行性能.实验结果表明,该方法设计的在线聚集优化程序在不同数据规模下的执行时间较小,同时在基本频繁查询性能方面具备显著优势.     

交通流大数据中的套牌车并行检测算法

传统的套牌车识别算法通过串行工作方式在网格化城市交通监控系统所产生的大规模数据中进行两两比对实现套牌车检测,因此在处理海量数据时存在性能瓶颈问题.提出了一种新的基于Hadoop的MapReduce算法模型,该算法具有并行特征,通过引入多台硬件计算资源协同处理大规模数据下的套牌车检测问题,显著提高了计算性能.同时,采用基于动态旅行时间实时的时空窗口计算技术,能进一步提高算法的检测速度和识别精度.     

一种单向卫星网络中冗余递增的数据分发机制

为了解决单向数据分发系统存在的问题,设计了一种新的数据分发机制.一方面,分组级FEC机制被用来恢复接收端的误码.另一方面,发送端采用冗余递增的方式发送分组级FEC编码生成冗余信息.发送端将冗余信息分层传输,接收端通过加入一个或多个发送层次以接收不同冗余度的数据,从而有效地解决了接收端异质性引起的系统效率降低.仿真结果表明,新的数据分发机制可以使误码率低的接收端尽快接收到需要的数据,在保证数据可靠传输的同时提高了系统的发送效率.     

可扩展在线识别P2P流的架构

为了整合多种已有的端到端(P2P)流识别方法,支持对新识别方法的迅速扩展,提高分布式环境中的远程管理能力,提出了一种可扩展在线识别P2P流的架构(EAIOPF).首先,提出了识别程序最优序列的思想,即通过优化多个识别程序的运行顺序,提高系统的运行效率;然后,提出了在线更新识别方法的机制,根据该机制,无需重新编译程序就能扩展P2P流的识别功能;最后,设计了一种远程管理机制,实现对识别程序的远程更新、启动与停止.针对原型系统的测试结果表明,EAIOPF能有效提高识别系统的性能,支持在线更新识别方法和远程管理,为高速网络环境中整合多种P2P流识别方法提供了可行方案.     

基于JMF架构的流媒体RTP/RTCP传输模型设计

JMF提供了对RTP/RTSP(实时传送协议和实时流转协议)的支持,通过在分析RTP/RTCP协议时得出的反馈机制的方向,实现一种基于JMF的RTP/RTCP传输模型的整体设计。实现了一个动态的网络反馈机制,并利用其提供的动态的反馈信息实现了对发送端和接收端Buffer的控制,保证流媒体传输的QoS,以提高流媒体传输的效率。     

实时在线大规模流媒体分发系统的设计方法

提出了一种大规模流媒体分发系统设计思路.首先,分析网络和节点异构性对流媒体传输的可信和可靠需求,构建出大规模、复杂网络环境中可信流媒体分发系统拓扑结构;然后,研究动态系统环境下能保证流媒体服务质量和各种粗细粒度调度方法,设计出自适应网络节点异构性的数据调度策略和算法;接着,研究面向流媒体的网络测量方法,基于实时流媒体传输质量的评估,提出了自适应流媒体传输调节的方法;最后,分析了流媒体系统提供服务的机理,确定系统的状态信息和关键数据,分析各种故障和攻击情况下系统的可用性,提出了流媒体传输故障检测方法和系统恢复方法.     

一种基于Hadoop的布鲁姆过滤器联结算法

通过对Hadoop平台下MapReduce作业处理方式及布鲁姆过滤器算法的深入研究,将优化的压缩型布鲁姆过滤器算法用于节点间数据联结操作,解决了基于Hadoop平台同时处理多个大规模数据集时的数据关联问题.实验证明,压缩型布鲁姆过滤器算法在MapReduce作业中的应用,使得大数据集之间的联结效率显著提高.     

实时在线大规模流媒体分发系统的设计方法（英文）

提出了一种大规模流媒体分发系统设计思路.首先,分析网络和节点异构性对流媒体传输的可信和可靠需求,构建出大规模、复杂网络环境中可信流媒体分发系统拓扑结构;然后,研究动态系统环境下能保证流媒体服务质量和各种粗细粒度调度方法,设计出自适应网络节点异构性的数据调度策略和算法;接着,研究面向流媒体的网络测量方法,基于实时流媒体传输质量的评估,提出了自适应流媒体传输调节的方法;最后,分析了流媒体系统提供服务的机理,确定系统的状态信息和关键数据,分析各种故障和攻击情况下系统的可用性,提出了流媒体传输故障检测方法和系统恢复方法.     

基于粒度和信息熵的并行支持向量机算法

针对大数据环境下并行支持向量机(support vector machine,SVM)算法存在噪声数据较敏感、训练样本数据冗余等问题,提出基于粒度和信息熵的GIESVM-MR(the SVM algorithm by using granularity and information entropy based on MapReduce)算法.该算法首先提出噪声清除策略(noise cleaning,NC)对每个特征属性的重要程度进行评价,获得样本与类别之间的相关度,以达到识别和删除噪声数据的目的;其次提出基于粒度的数据压缩策略(data compression based on granulation,GDC),通过筛选信息粒的方式保留类边界样本删除非支持向量,得到规模较小的数据集,从而解决了大数据环境下训练样本数据冗余问题;最后结合Bagging的思想和MapReduce计算模型并行化训练SVM,生成最终的分类模型.实验表明,GIESVM-MR算法的分类效果更佳,且在大规模的数据集下算法的执行效率更高.     

一种具有容错机制的MapReduce模型研究与实现

针对传统MapReduce模型的容错机制对错误的处理效率低下等问题,提出了一种基于多核虚拟机的具有容错机制的MapReduce模型。该模型使用检查点机制进行错误恢复,并只对中间结果和必要的状态信息进行保存;利用虚拟机在隔离内存中保存中间结果;根据用户的需要及系统的负载情况动态调整系统中工作节点的个数。通过在SUN的32核、主频为2.38GHz、内存为128GB服务器上的测试,结果表明:与传统MapReduce模型相比,改进MapReduce模型降低了通信上的开销,提高了MapReduce运行过程的可靠性和错误恢复的性能,虚拟机监控器可以完全控制和管理多核平台的内存,使操作系统无法直接访问隔离的内存,数据恢复不会受到操作系统内部各种错误的影响,保证了恢复数据的安全性。     

干扰状态下大规模网络数据流的分发协调技术研究

干扰状态下大规模网络数据流具有实时性、波动性、突发性等特点,当前数据流分发协调方法无法保证数据流的平稳传输及分发协调的实时性。为此,提出一种新的干扰状态下大规模网络数据流分发协调方法,通过网络数据流预测值和实际值之间的误差滤除干扰状态下的干扰数据,保证剩余数据流的纯正性。将大规模网络数据流分发协调问题转换成多目标优化问题,以提高大规模网络数据流分发协调的整体性能为目的设定一个目标函数,提出一种大规模网络数据流分发协调预测技术,通过比较处理器计算资源和未来的预期负载确定数据流分发协调策略。实验结果表明,采用所提方法对干扰状态下大规模网络数据流进行分发协调,不仅效率高、实时性好,而且CPU资源利用率很高。     

基于阶梯式拓扑结构的WSN半动态路由算法

针对全动态路由算法随着网络规模的增大其拓扑管理能耗剧增的不足,提出一种半动态路由算法.该算法创建了以簇为基本单元的阶梯式网络拓扑模型,根据无线信道传输模型确定簇的覆盖并建立簇到基站的多跳梯度场,在梯度场中采用有序、定向的数据传送方式,实现信息以链路最短的距离向基站汇聚,并在簇内创建了一套簇头轮转机制,以实现簇内能耗平衡.对该算法能耗的定量分析和具体场景的仿真结果表明,该算法大大减少了拓扑管理和数据传送过程中的通信能耗,尤其是随着网络规模的增大,与LEACH算法相比具有明显的节能效果.     

一种多云环境的资源及应用监控方法SEPQMS

资源及应用监控是云资源规划调度、弹性提供、服务质量评价等的前提.基于多云监控需求,提出了一种可扩展、适应资源弹性、平台独立并提供传输质量控制的多云监控方法.采用以插件方式安装指标探测器的监控代理,实施对资源及应用相关指标的收集.遵循对象管理组织的数据分发服务标准规范,设计了多云环境的发布/订阅式监控数据分发模型框架.原型系统实验表明:本方法只引入了较小的监控开销,能够跨平台实施弹性的多云监控,按需订制监控指标,动态部署和自治管理监控代理适应监控资源增减和迁移,并能按需控制监控数据传输质量.     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.     

谈分布式计算模型MapReduce与搜索引擎系统

MapReduce是一种编程模型,它通常被用在处理大型的数据集的程序设计中。基于这种功能的程序能够在大规模的普通商用机器上自动并行的执行。实时系统处理输入数据的划分,制定程序执行计划,处理机器失效,内部机器通信等。这样使得程序员无需并行分布式系统的开发经验也可以很容易的利用大型分布式系统的资源。     

基于支持向量机的任务调度模型

云计算框架大大改进了并行算法的实现难度,但是大部分算法有其局限性.介绍了MapReduce(映射化简)的基本实现原理和调度模型的缺陷,提出了基于支持向量机的的MapReduce进化算法,并给出了基本模型及实现.运用Hadoop云计算平台进行了仿真验证,实验结果表明,基于支持向量机的MapReduce计算框架在候选云节点的调度分配的准确性上有明显提高,并且加快了数据迭代的效率.     

面向R语言的分布式流处理系统设计与实现

为了使得在数据分析领域广泛使用的R语言能够应用于大规模数据的分布式流处理计算,基于Spark Streaming框架,设计和实现了一个面向R语言的分布式流处理系统。系统提出了一套完备的R/Java跨语言交互模型,实现了R语言程序和Java程序的互相调用,从而使得R语言程序可以运行在Java平台上,改进了R语言在大规模数据处理和并发计算等方面的不足。系统也提供了Spark Streaming的R语言编程接口,提高了后者的易用性。通过实例验证了该系统的可行性和实用性。     

基于MapReduce的高效地理数据水印方法

为了提高地理数据水印算法嵌入和检测水印信息的效率,提出了一种基于MapReduce的地理数据水印方法.该方法以MapReduce编程模型为基础,采用目前鲁棒性最好的基于可变步长量化调制的地理数据水印(VSQM)算法,在水印信息嵌入和检测时并行地处理目标地理数据中的地物,使得该方法的效率较之传统地理数据水印方法大为提高.最后在一个地理数据在线交易系统环境下实现了该方法,并通过一系列实验证实了所提出的方法能够有效提高地理数据水印方法的效率.     

前向纠错编码传输机制的优化

为了提高前向纠错(FEC)编码在抖动参数上的性能,提出了一种改进发送端与接收端之间的信息交互方式的动态FEC传输机制(DFEC).新机制中,发送端收到反馈信息后,只调整数据的冗余度而不会为了等待反馈信息停止数据传送.在NS2平台上的仿真结果对比证实,所提出的DFEC传输机制可以改善接收端在抖动参数上的性能,为提高实时视频传输的端到端的服务质量提供了一种新方法.