Hadoop加速比性能模型研究

MapReduce编程模型被看作是Hadoop的核心组件,一直以来都受到广泛的应用和研究,但针对Hadoop云平台的性能研究主要集中在配置调优和分布式算法等方面,缺乏对Hadoop加速比性能模型的理论研究.针对此问题提出了Hadoop云平台加速比性能模型,并分别在同构机群和异构机群架构上对该模型进行了分析.针对同构机群提出了3种I/O负载模型,并指出了其对加速比的影响;指出了异构机群不适合做Hadoop云平台的原因及异构性对Hadoop云平台造成的影响.这些研究对Hadoop云计算平台的搭建及如何提高Hadoop云平台加速比性能有很好的指导作用,提供了理论依据.     

基于云计算的高校数字化资源整合系统方案

分析了高校数字化资源的现状及所面临的问题,介绍了云计算的结构模型,借助开源云计算系统Hadoop,给出了基于云计算的数字化资源整合系统方案.搭建了小型云计算集群,给出了配置方法,并对系统的输入输出性能进行了实验,验证了该方案在数字化资源整合研究中的可行性.     

基于Hadoop的云平台参数优化

作为中间件的软件框架,Hadoop可以对大量数据进行分布式处理。基于Hadoop的云平台参数的优化可以提高系统的处理性能。使用VMware虚拟机技术在单机上配置多个虚拟计算机节点,实现满足实验环境的Hadoop完全分布式平台,并且进行集群测试。对Hadoop平台的相关参数进行优化配置,利用TeraSort程序对参数优化前后进行了对比测试,分析了测试结果。实验表明,参数优化对Hadoop平台性能具有较大的影响。在实际工程的全局部署之前,可利用或借鉴本方法,以应用环境为基础,充分考虑硬件配置情况、集群数量和数据大小等因素,进行样本的调优实验,获得最优的云平台组合参数。     

银行数据大集中环境下大规模固定报表生成

为了在有限的时间窗口内完成大批量报表的生成,提出ROLAP&SQL、共享扫描、Hadoop以及MOLAP&Cube Sharding等4个技术方案,其中的共享扫描技术方案通过所设计的算法实现.实验结果显示:除ROLAP&SQL技术方案不能满足时间窗口要求外,其他3种技术方案都能满足,其中Hadoop技术方案以高度的扩展性体现出很好的应用前景.综合考虑技术成熟度和性能,选择MOLAP&Cube Sharding技术方案应用于项目实践中.     

标准模型下基于属性的高效证明方案

针对可信计算环境下,传统平台认证中所带来的平台配置信息泄露的问题,提出了一个新型的基于属性的证明方案.建立了该方案的模型,给出了方案的具体构建,包括初始化、属性证书颁发、属性证明及验证、撤销等算法.与现有基于属性的证明方案相比,该方案的通信代价更小,计算效率更高.在标准模型下对该方案进行了安全性证明,结果说明了它的正确性、配置隐匿性及不可伪造性等.     

云环境下基于多属性信息熵的虚拟机异常检测

针对云环境下虚拟机因资源耗尽或程序运行错误而发生性能逐步恶化的异常现象,提出了一种基于多属性信息熵的检测方法.首先,计算每次采样的多个虚拟机状态属性的联合2-范数.然后,统计该联合2-范数的取值在一定时间内的出现频率,计算出各虚拟机状态属性的联合信息熵.当该熵值取最大值时,执行异常检测.期间,以各联合2-范数的移动加权均值及方差为基础构建检测变量,利用非参数CUSUM算法完成异常状态的判定.基于Hadoop的实验结果表明:该方法既能降低偶发暂态异常引发的虚警干扰,又能在虚拟机运行状态出现显著异常之前准确地发出告警.     

基于Hadoop的云平台的实现与基准测试

Hadoop是google云计算理论的开源实现,作为软件系统中间件的软件框架,它可以对大量数据进行分布式处理。通过Haddop,用户可以在不了解分布式底层细节的情况下开发分布式程序,充分利用集群的威力进行高速运算和存储。通过使用VMware虚拟机技术实现在单机上配置多个虚拟计算机节点,从而进行集群测试;在虚拟节点上安装Ubuntu操作系统作为Hadoop的操作系统支持;同时,利用Xmanager软件,以及配置局域网中宿主机与虚拟机、远程控制机的网络参数,实现对虚拟节点的远程控制;在已经安装好Ubuntu操作系统的各个虚拟节点上安装Hadoop、java-JDK等软件,并进行相关的参数设置,实现在虚拟机上各个虚拟节点的Hadoop完全分布式平台。最后在Hadoop平台上,使用Hadoop软件自带的基准测试程序包对平台进行4个Hadoop的经典基准测试。同时,每个测试都会加载不同的数据量及负载进行多次实验,通过比较在不同的负载下Hadoop的基准测试结果,测试Hadoop平台的相关性能,并分析负载及数据量的变化对Hadoop平台性能的影响。     

基于Hadoop云平台的新浪微博社交网络关键节点挖掘算法

为了高效地分析挖掘新浪微博社交网络信息传播过程中的关键节点,以Hadoop云计算系统作为存储和处理平台,在X-RIME大规模社会网络分析工具开源框架基础上,针对社交网络中使用HITS(hypertext induced topic selection)链接分析算法挖掘关键节点时,未能体现节点和连接的社会属性问题进行改进.新算法充分考虑了社交网络节点和边的社会属性,对HITS算法节点和边的社会属性权值进行优化计算,提出适合社交网络特点的加权HITS算法.通过Hadoop云平台分别运行加权HITS算法和传统HITS算法对新浪微博社交网络数据进行分析.实验结果表明,加权HITS算法比传统HITS算法具有更高的执行效率和结果区分度,加权HITS算法更适合于大规模社交网络信息传播过程中关键节点的分析挖掘.     

基于Hadoop平台的SPRINT算法的分析与研究

传统的决策树算法在单机平台上处理海量数据挖掘时,容易受到计算能力和存储能力的限制,所以存在耗时过长、容错性差、存储量小的缺点.而拥有高可靠性和高容错性的Hadoop平台的出现为决策树算法的并行化提供了新的思路.本文设计和实现了一种基于Hadoop平台的并行SPRINT分类算法.实验结果表明:基于Hadoop平台的SPRINT分类算法比没有进行并行化的SPRINT算法具有较好的分类正确率、较低的时间复杂度和较好的并行性能,并且能明显提高算法求最佳分裂点时的执行速度.     

数据挖掘技术在风电机组故障诊断中的应用

针对传统的故障诊断方式已经不能满足风电故障系统实时性、准确性的要求,提出了基于Hadoop框架,并结合粗糙集属性约简以及Apriori算法共同处理分析风电机组监测数据,进而实现快速、准确地诊断风机故障的方法:首先利用属性约简减小数据规模,剔除冗余属性项;之后通过MapReduce框架改进Apriori算法,提高数据挖掘效率,降低时间和空间复杂度.实验表明:该算法在保证诊断准确率的前提下,具有良好的性能,也证明了该算法的有效性和可行性.     

基于Ambari的Hadoop集群快速部署研究

Hadoop作为处理大数据的一个优秀分布式计算框架,在企业应用非常普通。然而Hadoop集群部署需要考虑各组件的兼容性、编译问题及繁琐的组件参数配置,初学者往往耗时几天也不能部署成功。Ambari是一种支持Hadoop集群部署、监控和管理的开源工具。针对Hadoop集群部署的复杂性,提出基于Ambari工具部署Hadoop集群各组件的实践方法并讨论了快速部署的若干要点及重要步骤;通过Ambari工具,完成了Hadoop生态圈最小化集群大部分常用组件的快速部署,如HDFS、HBase、Hive、Pig、Oozie、Zookeeper、Sqoop、Spark、Storm、Kafka、Flume等;项目实践表明:利用Ambari工具能够在8 h内部署完毕Hadoop集群,相比较传统手工部署方式,Ambari工具极大提高了Hadoop集群部署的效率及成功率。     

支持云计算环境的MapReduce模拟器设计

针对云计算环境下很难确定出有助于实现良好性能的Hadoop参数集的问题,设计了一种MapReduce模拟器.首先,对Hadoop的各种参数进行建模;然后,集群读取元件从集群中读取参数,从而创建模拟的Hadoop集群环境;最后,利用作业跟踪器跟踪模拟的作业,并利用任务跟踪器运行单个任务.所设计的模拟器从多角度研究Hadoop应用的性能,集中模拟Hadoop的映射和化简行为,弥补了MRPerf设计的不足.在基准测试结果和用户自定义MapReduce应用中验证了模拟器的有效性.     

基于K-spectrum的下一代测序数据的纠错算法分析

【目的】对现有的下一代测序(Next Generation Sequencing,NGS)纠错算法和工具进行分析,提出基于Hadoop平台的纠错算法,以解决大数据处理中计算机内存不足和运行时间长的问题,提升纠错性能。【方法】使用特定的数据对现有的基于K-spectrum的纠错算法进行测试,对各纠错工具的运行时间、内存峰值和纠错结果进行比较来衡量纠错工具的性能。在此基础上提出Hadoop分布式并行纠错算法(Parallel algorithm),并与串行程序、Lighter和Racer进行比较,分析分布式并行实现的可行性。【结果】现有的基于Kspectrum的纠错工具普遍存在较大的内存消耗现象,其中Racer和Sga的纠错效果较好。而Hadoop分布式并行纠错算法对计算机单机内存的消耗较低,当数据量超过一定值时,并行分布式程序的运算时间比串行单机程序明显减少。【结论】本研究提出的Hadoop分布式并行纠错算法不仅降低了内存消耗,而且提高了运算性能,更有利于大规模基因数据的分析处理。     

基于Hadoop的云计算试验平台搭建研究

Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架。它是一种可靠、高效、可伸缩的云平台,很适合在实验室环境下进行模拟测试。以Hadoop为基础,借助虚拟机VMware以及Linux、ubuntu、Hadoop、java--jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程。在设计实例中详细的论述了虚拟机、java、Hadoop等软件的安装、设置、测试过程。实现了在实验室环境对云平台的虚拟,并提出了在搭建试验平台时应该注意的用户权限、路径配置和使用SSH服务程序等问题。该试验平台为系统中间件和应用服务的开发提供了基础。     

A prediction mechanism of file access popularity and optimal strategy of replicas deployment in cloud computing

In cloud computing,the number of replicas and deployment strategy have extensive impacts on user's requirement and storage efficiency.Therefore,in this paper,a new definition of file access popularity according to users' preferences,and its prediction algorithm are provided to predict file access trend with historical data.Files are sorted by priority depending on their popularity.A mathematical model between file access popularity and the number of replicas is built so that the reliability is increased efficiently.Most importantly,we present an optimal strategy of dynamic replicas deployment based on the file access popularity strategy with the overall concern of nodes' performance and load condition.By this strategy,files with high priority will be deployed on nodes with better performance therefore higher quality of service is guaranteed.The strategy is realized in the Hadoop platform.Performance is compared with that of default strategy in Hadoop and CDRM strategy.The result shows that the proposed strategy can not only maintain the system load balance,but also supply better service performance,which is consistent with the theoretical analysis.     

大数据分析中基于 MapReduce 的空间权重创建方法研究

大数据空间分析是 Cyber-GIS 的重要方面。如何利用现有的网络基础设施（比如大规模计算集群）对大数据进行并行分布式空间分析仍然是一大难题。为此,提出一种基于 MapReduce 的空间权重创建方法。该方法依托Hadoop 框架组织计算资源,基于 MapReduce 模式从大规模空间数据集中高效创建出空间权重：大空间数据被分为多个数据块,将映射器分布给计算集群中的不同节点,以便在数据中寻找出空间对象的相邻对象,由约简器从不同节点处收集相关结果并生成权重文件。利用 Amazon 公司弹性 MapReduce 的 Hadoop 框架,从人工空间数据中创建基于邻近概念的权重矩阵进行仿真。实验结果表明,该方法的性能优于传统方法,解决了大数据的空间权重创建问题。     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.     

基于云平台的电信数据仓库文件备份和分布动态调整算法

Hadoop利用统一的备份机制来确保数据的可用性和容错性.然而对于重要的文件块,只能通过修改配置文件来设置副本数量.通过分析电信业数据仓库文件的访问情况,提出文件备份与存放动态调整算法（BPDA）来提高数据局部性,以减少数据传输带来的I/O和网络消耗,提高查询效率.运用多副本一致性哈希算法,概率采样和竞争力弱化算法,得到每一个文件的最佳备份数和备份位置.实验结果验证了该算法可以提高查询关联效率.