基于MapReduce的大数据在线聚集优化设计

针对大数据在线聚集执行时间长、执行性能及延迟调度性能较差的问题,提出基于MapReduce的大数据在线聚集优化程序设计.使用分片聚集方法使集群中所有机器的计算资源得到充分调用,采用子连接的启发式优先方法优化各节点本地执行连接任务关系运算,实现大数据在线聚集的并行连接.利用混合近似查询框架的大数据在线聚集动态切换机制及基于渐进近似估计的动态切换机制,降低混合近似查询切换误判率,增强大数据在线聚集的执行性能.实验结果表明,该方法设计的在线聚集优化程序在不同数据规模下的执行时间较小,同时在基本频繁查询性能方面具备显著优势.     

基于MapReduce的HITS算法的实现

在对HITS算法和基于MapReduce编程模型的云计算框架Hadoop的研究基础上,利用Hadoop来重新设计并实现HITS算法.同时,在实验中分析了不同blocksize和集群规模对算法执行效率的影响.实验表明:当blocksize过大时,由于没有充分利用集群的并行特性,算法效率逐渐降低,而适当扩大集群规模,算法运行效率会逐渐提高.     

云计算环境下的多路数据流分层模块化建模与设计

提出多路数据流计算模型和对云计算物理系统的分层模块化建模方法. 云计算物理系统包含大量相连的嵌入式设备和计算 节点. 其开发难点在于系统复杂性所带来的设计和管理困难, 以及对海量数据的处理. 可行的解决办法是以多路数据流构 造抽象的设计模型, 利用自动化工具进行仿真、检验和优化, 再通过映射生成最终系统. 多路数据流扩展了传统数据流和 Google的MapReduce计算框架, 在简化设计的同时也使最终系统易于在云计算环境中实现.     

在线社交网络的逻辑模型和并行查询

归纳出对在线社交网络研究具有挑战性的一些课题,介绍描述用户关系的逻辑模型(粉丝模型),提出逻辑关系寓意邻接矩阵(粉丝矩阵)。用此模型展示对微博平台Top-X信息查询的聚合-排序-删除算法。进一步应用映射和化简概念将上述Top-X信息查询算法扩展于并行计算环境,给出映射关注和化简粉丝在Ha-doop系统联机实现的算法。粉丝模型和相应的算法实现了对新浪微博74.7GB和Twitter的101GB实际数据的多种约束下信息查询和微博转发预测,特别是在Hadoop系统联机环境下,新方法的信息化简和计算性能明显提高。     

数据密集型计算环境下离群点挖掘算法设计与实现

在数据密集型计算环境中,数据具有海量、高速变化、分布存储和异构等特征,对数据挖掘算法的设计与实现提出了新的挑战.基于MapReduce模型,提出了一种网格技术与基于LOF方法相结合的离群点挖掘算法MR_LOF.Map阶段采用网格进行数据约简,将代表点信息发送给主节点;Reduce阶段使用基于密度的离群点挖掘算法,借助网格期望值E筛选出稠密区域.该算法只需计算稀疏区域对象的LOF值,降低了算法的时间复杂度.实验结果表明,在数据密集型计算环境中,该方法能有效的对离群点进行挖掘.     

面向大规模社交网络的潜在好友推荐方法

有效的潜在好友推荐是促进社交网络不断增长的重要途径,对于大规模社交网络环境下的复杂计算问题,文章提出了一种适用于大规模社交网络的潜在好友推荐方法,该方法首先将用户的潜在好友划分为"可能认识的"和"可能感兴趣的"2类,然后分别基于用户共同好友关系拓扑图和Profile文本相似性计算模型进行描述,最后基于MapReduce云计算模型对相关方法进行了设计实现。探讨了云计算环境下的潜在好友推荐系统框架设计、大规模用户共同好友关系拓扑图以及Profile文本相似性计算的方法,并通过实验以及应用实例验证了该方法的有效性以及可扩展性。     

一种基于MapReduce的动态数据流分类算法

当前动态数据流下的实时分类问题存在3个难点:针对海量数据的实时处理;概念漂移的跟踪和模型的更新;模型的稳定和鲁棒性.针对上述问题,将极端支持向量机(extreme support vector machine,ESVM)与MapReduce框架结合,提出了带遗忘因子的鲁棒ESVM算法.该方法通过构造残差权重矩阵,对残差进行修正,同时加入遗忘因子,提高新样本的作用,从而实现对海量数据处理问题的求解.实验结果显示,所提出方法能够快速有效地对动态数据流进行分类,且结果不易受到噪声干扰,稳定性强.     

基于云计算的Apriori算法设计

对云计算技术和数据挖掘进行研究,分析Apriori算法,针对其局限性,提出优化方案,引入云计算中MapReduce模型,实现并行化。提出一种基于MapReduce的频繁项集挖掘方法,以提高算法的运行效率,降低算法执行所需的开销。     

基于MapReduce的分布式地形数据计算研究

以山影分析模型为例,探讨了地形分析模型的MapReduce并行化计算方法.基于Apache Hadoop开发了地形数据分析的原型系统,并初步部署形成了地形数据的分布式计算和存储环境.最后,以全国范围90m地形数据对系统进行应用测试,结果表明:基于MapReduce的分布式计算方法能够有效地提升地形数据的计算效率,特别在节点较多时效率提升更为明显.     

面向应急管理的大图重要节点中介度高效近似计算方法

社交网络中的重要节点对于信息的传播效率有着至关重要的作用,也是近年来的研究热点问题.同时,随着新媒体时代手机、微博、微信等新兴媒介日益变快的信息传播速度,政府部门和企业已经逐渐认识到通过识别社交网络中的重要节点对于管理和控制社交网络中的信息传播,在面向应急的非常规突发事件数据获取与分析中,有着举足轻重的作用.新媒体时代也扩展了人们社会活动的信息容量与交换速度,以MapReduce为代表的分布式计算系统在应急管理的大规模社交网络数据分析中也变得越来越普遍.为了便于应急管理中的信息传播控制,针对应急管理中大规模社交网络图上重要节点识别的关键问题,本文提出了一种新颖的基于轴节点选择策略的大图重要节点中介度近似计算方法和原型系统,并通过模拟数据和真实数据(包含一个连续六个月的真实社交网络数据集)进行了验证.实验结果表明,该方法能非常有效地找出社交网络上的重要节点,对于应急管理中的信息传播控制有着重要的作用.