数据加密技术在计算机网络数据安全中的应用

信息时代计算机网络海量数据安全传输成为难题,为此在Hadoop大数据环境下提出AES数据加密方案.AES算法通过轮密钥加、字节替换、行位移、列混淆等步骤进行数轮明文加密,在Map Reduce架构下明文数据被划分成多个数据分片,Map函数负责AES算法加密操作,Reduce函数合并加密后的数据信息,最后在HDFS文件系...     

异构环境下改进的Hadoop调度算法

Hadoop是一个用于以高效的方式处理大数据的框架.任务调度是Hadoop框架的核心问题之一,其默认的调度器不能根据节点及作业资源的异构性进行任务分配.针对该问题,本文提出一种异构环境下基于作业及资源分配的调度算法.该算法可根据估计作业到达率和平均作业的执行时间将作业分类,找到与该类作业匹配的资源,优先将本地任务分配给...     

主要分布式搜索引擎技术的研究

讨论了当前搜索引擎的主要技术以及这些技术的原理。介绍了基于P2P的搜索技术,以及JAXT搜索框架的基本原理,重点给出了基于Map／Reduce技术分布式搜索引擎的实现。对今后搜索引擎的发展也作出了相应的探讨。     

大数据平台网络数据库云计算技术优化与平台搭建研究

利用云计算等先进技术对网络数据库进行优化总结.基于云计算等技术重新设计了一种面向大数据的网络数据库,实现了平台操作设计、集群模块搭建以及数据整合与预处理等.基于云计算等技术对网络数据库进行优化,是实现网络数据库存储容量提升,全面优化大数据时代网络数据库并发性、提高海量数据状态下网络数据库利用率的重要举措.     

基于Ganglia和Nagios的云计算平台智能监控系统

随着现代数据中心云计算规模日益增长,云计算平台的智能运维管理面临较大挑战,尤其在实时监控领域方面。首先对云计算监控技术进行了深入分析和研究,然后在开源云计算平台Hadoop环境下,将Ganglia和Nagois两种开源监控软件进行整合,并利用移动飞信来实现对云计算平台的实时监控。实验结果表明,该系统可对云计算平台内主机和服务以及运行环境的各项性能指标进行全方位监控,实现对故障的实时预警和报警,使得管理人员能准确定位、实时处理云平台异常情况,从而提高了云平台的服务质量,有较好的应用价值。     

数据挖掘技术在风电机组故障诊断中的应用

针对传统的故障诊断方式已经不能满足风电故障系统实时性、准确性的要求,提出了基于Hadoop框架,并结合粗糙集属性约简以及Apriori算法共同处理分析风电机组监测数据,进而实现快速、准确地诊断风机故障的方法:首先利用属性约简减小数据规模,剔除冗余属性项;之后通过MapReduce框架改进Apriori算法,提高数据挖掘效率,降低时间和空间复杂度.实验表明:该算法在保证诊断准确率的前提下,具有良好的性能,也证明了该算法的有效性和可行性.     

基于HBase的小文件高效存储方法

基于 Hadoop 平台的相关系统得到了广泛应用。Hadoop 分布式文件系统（Hadoop distributed file system, HDFS）通过分布式的工作方式,负责处理海量文件数据。对 HDFS 而言,海量数据中的小文件存储问题制约着系统高效工作的能力。针对海量数据中小文件读写效率低的情况,提出一种基于 HBase（Hadoop database）的海量小文件高效存储方法,利用 HBase 的存储优势,将小文件直接存储于 HBase,从而有效减少元数据节点服务器（Name-Node）的负载,并对上层应用系统提供透明的访问接口。实验结果表明,该方法可以实现海量小文件的高效存储,提高 HDFS 环境下小文件的读写效率。     

基于Hadoop的金融智能云平台分布式架构

为了使金融大数据产生业务价值,提高金融信息化应用水平,针对金融行业实时海量信息存取困难的问题,提出一种构建用于金融行业的云平台分布式架构。通过金融系统监控信息的存储分析,利用分布式文件系统和并行编程模型,提出对应用集群和虚拟资源的管理方案。实验中建立了云集群分布式处理平台,通过金融大数据量查询性能结果表明,基于Hadoop的金融智能云平台分布式架构的合理性和有效性。     

浅谈Hadoop和PostgreSQL在地质资料集群化中的适用性

在长期的地质调查工作中,形成了海量的地质调查成果资料,但因地质资料分散式管理,使得资料信息共享、综合利用的机制和手段以及在线业务服务能力相对薄弱.分析了Hadoop集群平台的运行机理以及PostgreSQL数据库在地学空间信息系统中独特的优越性,并基于Hadoop和PostgreSQL大数据集群化平台,阐述了地质资料信息服务集群机制与服务模式.     

云环境下基于衰减因子网格的Skyline查询

为了解决云环境下对于海量数据的Skyline查询,提出了在Map-Reduce框架下基于衰减因子网格Skyline查询(SQBDFG)算法,该算法通过衰减式的网格进行区域划分,利用网格间的统治关系进行快速过滤,达到减少传输开销的目的,并针对网格的衰减速度会影响实际查询性能进行进一步优化.首先提出网格的最大剪枝空间和最大剪枝效率两个概念,然后从理论上证明了采用衰减式网格在处理海量数据的Skyline查询时在这两方面具有明显的优势.最后通过Hadoop分布式集群上的大量实验,在Skyline查询时间和数据I/O开销两个方面进行对比,证明了提出的SQBDFG算法具有良好的有效性和实用性.