基于MapReduce的C-Cubing并行算法

封闭立方体计算的主要任务是在生成一个数据单元时,判断其是否封闭。针对该问题,C-Cubing是新近提出的一种有效的方法,不同以往基于输出或基于元组的方法,它仅通过特定的度量,即封闭性度量,就可以判断出封闭单元。然而随着数据量的增加,C-Cubing的性能下降,因此它的并行算法还有待研究。本文提出基于MapReduce并行框架,采用C-Cubing对封闭立方体并行计算的方法,并在Hadoop上给予了实现。实验结果表明,本方案能够利用廉价的PC机器,有效提高了在较大数据集上计算封闭立方体的性能。     

基于PKI的HDFS认证及安全传输机制研究

为解决Hadoop核心子项目Hadoop分布式文件系统(HDFS)文件服务过程中存在的认证及安全传输问题,对当前所采用的Kerberos方案进行了详细的分析,针对其在安全性和效率性方面存在的缺陷,提出将基于PKI的数字证书认证技术及基于数字信封的AES对称加密技术应用到HDFS的安全机制中。分析表明,该安全机制与Kerberos相比,能够为HDFS文件服务提供更安全、更高效的解决方案。     

基于Hadoop云平台的并行谱聚类算法的设计与实现

谱聚类(Spectral Clustering)是建立在谱图理论基础上的一种聚类算法.与传统的聚类算法相比,谱聚类能够在任意形状的样本空间上进行聚类且收敛于全局最优解.然而,实际问题中大规模数据集普遍存在,在使用谱聚类对大规模数据集进行聚类时,收敛速度变得十分缓慢,甚至无法在有效的时间内得到聚类结果.并行算法是针对大规模数据集进行处理的一种有效方法.基于Hadoop云计算平台实现大规模数据集的存储和处理是目前实现并行计算的一种高效解决方案.     

大数据环境下的数据安全技术分析

随着大数据技术的不断发展与广泛应用,传统的数据安全技术受到了诸多挑战。本研究立足大数据安全技术,阐述了大数据环境下数据安全面临的挑战,结合国内外数据安全案例与对相关技术的研究现状,探讨了各种数据安全技术在大数据环境下的数据安全问题中的应用。研究根据现实状况,从Hadoop平台架构的安全机制、网络隔离的脆弱性和身份认证的局限性与不便性视角出发,探索了相关技术缺陷的解决方案,最后对未来技术发展的可行路径进行探讨,指出应对Kerberos认证机制和嵌入TLS组件的具体实现流程进行详细分析,并深入了解“震网”病毒及其攻击原理与应对技术。     

基于Hadoop的云计算试验平台搭建研究

Hadoop是一个免费的开源云平台,是允许在集群计算机上分布式处理大数据的软件框架。它是一种可靠、高效、可伸缩的云平台,很适合在实验室环境下进行模拟测试。以Hadoop为基础,借助虚拟机VMware以及Linux、ubuntu、Hadoop、java--jdk等软件,详细地介绍了单机环境下的虚拟云平台搭建过程,并给出具体的实例搭建过程。在设计实例中详细的论述了虚拟机、java、Hadoop等软件的安装、设置、测试过程。实现了在实验室环境对云平台的虚拟,并提出了在搭建试验平台时应该注意的用户权限、路径配置和使用SSH服务程序等问题。该试验平台为系统中间件和应用服务的开发提供了基础。     

PageRank算法的并行实现

针对当前大数据时代的背景,信息数据的海量化现象与日俱增,为了实现数据搜索的低成本、高效率,对Google搜索引擎的PageRank算法进行了综合性的研究分析,分别介绍了MapReduce框架和Hadoop实现平台,在此基础上,在Hadoop平台详细分析了基于MapReduce的PageRank算法的并行实现过程,以实现海量数据的并行处理,极大地提高了搜索引擎的性能.     

一种基于Hadoop的并行关联规则算法

在挖掘大型数据库的关联规则时,使用并行计算是必需的.针对传统的并行计算,存在不能处理节点失效,难以处理负载均衡等问题,提出基于Hadoop架构实现并行关联规则计算的设计.理论和实验证明,基于Hadoop的并行关联规则计算,能处理节点失效,并且能做到节点负载均衡.     

基于Ganglia和Nagios的云计算平台智能监控系统

随着现代数据中心云计算规模日益增长,云计算平台的智能运维管理面临较大挑战,尤其在实时监控领域方面。首先对云计算监控技术进行了深入分析和研究,然后在开源云计算平台Hadoop环境下,将Ganglia和Nagois两种开源监控软件进行整合,并利用移动飞信来实现对云计算平台的实时监控。实验结果表明,该系统可对云计算平台内主机和服务以及运行环境的各项性能指标进行全方位监控,实现对故障的实时预警和报警,使得管理人员能准确定位、实时处理云平台异常情况,从而提高了云平台的服务质量,有较好的应用价值。     

基于Hadoop的PM_(2.5)遥感监测系统设计与实现

遥感定量反演的对象为多源遥感数据,处理过程不可避免地涉及到海量数据处理、信息提取和分析.遥感反演既是计算密集型,同时又是数据密集型的科学应用.随着反演理论和技术的发展,地表遥感模型复杂化,数据量呈爆炸式增长,相应地对计算能力的要求也越来越高.同时,随着我国空间技术的不断发展,卫星数据正以指数级的形式迅速增长,对相关应用系统的存储和计算能力也提出了很高的要求.基于以上原因,采用云计算框架,利用Hadoop平台设计该PM_(2.5)卫星遥感监测系统.其中,第一部分介绍了整个系统的架构设计,自上而下包括四个部分;第二部分对该系统的核心算法进行了详细的阐述,利用HDFS和MapReduce分别实现了对海量数据的冗余存储和并行化处理;第三部分进行了性能分析及实例测试,通过详细的对比,可以发现MapReduce并行计算在很大程度上能够提高系统的运行效率;最后对本系统进行总结和展望.通过对"高分一号"卫星数据获得的PM_(2.5)产品进行加速比分析,验证了系统具有高处理效率和高可用性等优点.     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。