Hadoop下基于资源感知的调度算法

在大规模的数据中心中,I/O型作业和CPU型作业通常会同时在同一集群上运行,他们之间所需要的资源是互补的.现有的Hadoop调度算法并没有对这两种工作的并行化进行研究,针对这点不足,提出了基于资源感知的调度算法,对作业负载和节点负载进行合理的分类和调度,解决因为资源竞争和不合理调度而影响处理速率的问题.对该算法进行实验及性能分析,在验证了算法在作业完成时间和系统吞吐量方面有很大改进.     

大数据与云存储

正大数据究竟有多大?云存储是什么样的存储器?在新互联网时代,这些词汇让我们应接不暇。"大数据"作为时下最火热的IT(information technology)行业的词汇在互联网时代显得越来越重要。随之而来的数据仓库、数据安全、数据分析、数据挖掘等围绕大数据商业价值的利用逐渐成为行业人士争相追捧的利润焦点。     

基于Hadoop平台FP-Growth算法并行化研究与实现

针对FP-Growth算法在大规模数据环境下存在挖掘效率低和占用内存大等问题,提出在分布式计算框架Hadoop的MapReduce编程模式下实现FP-Growth算法并行化处理.结果表明,在相同数据量下,通过负载均衡的并行化FP-Growth算法,加速比呈线性增大,具有良好的加速比和可扩展性,且随着数据量增大,算法效率明显提高.     

应用MapReduce的多维小波变换模型

针对小波变换的性能和扩展性问题,提出基于MapReduce的多维小波变换模型,该模型将多维小波变换的线性处理改造成基于多处理器的并行计算.描述了具体的实现算法和模型设计,通过在Hadoop平台上对该模型进行实验分析,实验结果表明,在多信号的多维小波变换时,使用MapReduce的多维小波变换模型具有良好的执行效率和扩展性.     

异构Hadoop集群中数据副本放置策略优化

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.     

基于Hadoop的分布式能源状态监测集成研究

本文主要研究基于Hadoop的数据存储平台在分布式能源接入监测数据存储上的应用。首先介绍了分布式能源接入状态监测数据的特征,分析出当前数据集成面临的问题,接着介绍了Hadoop平台,主要介绍了HDFS和Map Reduce的基本原理,然后介绍了传统关系型数据库和HDFS之间数据传输工具Sqoop的原理和使用情景。接着结合分布式能源接入状态监测数据的特征和Hadoop数据处理平台的优点设计出数据集成平台的基础架构,最后提出了几点不足和未来可以改进的方向。     

Mobile Internet Big Data Platform in China Unicom简

China Unicorn, the largest WCDMA 3G operator in China, meets the requirements of the historical Mobile Internet Explosion, or the surging of Mobile Internet Traffic from mobile terminals. According to the internal statistics of China Unicom, mobile user traffic has increased rapidly with a Compound Annual Growth Rate （CAGR） of 135%. Currently China Unicorn monthly stores more than 2 trillion records, data volume is over 525 TB, and the highest data volume has reached a peak of 5 PB. Since October 2009, China Unicom has been developing a home-brewed big data storage and analysis platform based on the open source Hadoop Distributed File System （HDFS） as it has a long-term strategy to make full use of this Big Data. All Mobile Internet Traffic is well served using this big data platform. Currently, the writing speed has reached 1 390 000 records per second, and the record retrieval time in the table that contains trillions of records is less than 100 ms. To take advantage of this opportunity to be a Big Data Operator, China Unicom has developed new functions and has multiple innovations to solve space and time constraint challenges presented in data processing. In this paper, we will introduce our big data platform in detail. Based on this big data platform, China Unicom is building an industry ecosystem based on Mobile Internet Big Data, and considers that a telecom operator centric ecosystem can be formed that is critical to reach prosperity in the modern communications business.     

Hadoop云平台中基于行为的信任评估研究

Hadoop平台是当前最为流行的云计算平台,其访问控制主要采取Kerberos认证机制,存在一定安全隐患。文章提出一种基于用户行为的信任评估思路,将用户行为数据量化为信任度,通过信任度保障云平台的安全。     

Hadoop性能优化研究

优化Hadoop的性能可大大提高Map Reduce的工作效率,缩短任务执行时间,增加分布式计算的吞吐量.Hadoop的执行性能受到多种配置属性的影响,不同配置属性间也存在相互制约关系.基于遗传算法,对配置方案不断选择、交叉、变异,多次迭代后产生近似最优配置方案.实验结果表明该配置方案能够有效提高系统性能,并且具有稳定性和适用性.     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.