海量数据处理过程中数据挖掘算法的应用

信息时代的快速发展带来的是信息总量呈现几何级数的增加,而海量数据的存储和分析处理对计算机硬件能力和数据分析能力都是一个极大的挑战．数据挖掘算法是针对于大批量数据处理而提出并逐步发展起来的,基于完备的数据库技术,可以在云计算算法、矩阵压缩算法和并行关联算法的基础上,进行算法集成,能进一步提高数据挖掘的速度、精度和时效性,在实际海量数据的处理过程中有较好的适应性,为海量数据处理提供了新的技术分析方法．     

动态云模型大规模数据挖掘算法

分析了云计算和数据挖掘的关系,研究了SLIQ和SPRINT两种数据挖掘算法,提供了一种数据存储量不断增加时基于动态云模型的数据挖掘算法。     

云计算在数字媒体领域的应用研究

随着计算机软硬件技术的发展,数据处理从单机环境演变到分布式、虚拟化和并行计算,进而产生了云计算。本文针对广电行业的海量数据,探讨云计算在数字媒体领域的应用。通过云计算平台,对数据进行有效存储管理和快速处理,同时对这些数据进行多次利用。     

决策树分类算法在地税征管系统中的研究

本文将适应于大规模数据的决策树算法SLIQ，SPRINT，Rain Forest等算法用于地税征管系统的海量税务数据分析，并对各个算法在可伸缩性以及并行性等方面进行深入的研究．     

基于任务分类思维的云计算海量资源改进调度

对云计算海量数据下的资源调度的研究过程中,进行资源调度时资源分配无法到达合理化调度,存在资源调度效率低的问题。提出分类思维的云计算海量数据资源优化调度方法。该方法引入膜计算概念,将云计算下的海量资源调度的总任务划分为多个子任务,并详细计算每个子任务的资源调度任务量。将优化调度系统内部分解为主膜和辅助膜,利用蝙蝠算法在辅助膜内进行资源分配个体寻优,并将优化后的资源分配最优个体传送到主膜间进行云计算海量数据下的资源分配优化。实验仿真证明,基于改进膜计算蝙蝠算法的云计算海量数据下的资源优化调度方法调度效率高,分配较为均衡。     

云计算技术在计算机网络安全存储中的应用研究

云计算技术是当前十分高效的数据存储与处理技术,可适应大数据环境对海量网络数据进行计算与处理,并提供安全的储存服务。而网络环境中数据面临被泄漏、篡改、非法使用及网络攻击等安全问题,为更好提升计算机网络数据存储的安全性,该文从多角度探究了云计算技术的应用,涉及技术部署、架构、算法、模型建构及各类安全防护技术,并基于实例探究如何全方位地提升计算机网络存储安全性。     

基于云计算高校计算机实验机房管理模式的应用——以青岛职业技术学院云计算平台为例

基于云计算高校计算机实验机房管理模式的应用,可减少高校在计算机软硬件资源的投入、维护和升级成本,提供安全、可靠的海量数据存储空间,降低机房管理成本,从而解决现阶段高校传统计算机实验机房管理中存在的各种难题和问题,云计算在机房管理中的应用将是大势所趋。     

云计算技术环境下计算机网络安全研究

随着云时代的到来,对我国信息技术的发展起到了良好的促进作用,不仅能够实现海量数据信息的虚拟化处理,还能够有效缓解实体服务器的工作压力,满足人们在大数据处理时的实际需求.但是在云计算技术环境下,计算机网络所面临的安全形势也发生了一定程度的转变,这就需要在云计算环境下,加强计算机网络安全的建设与创新力度,从而保障计算机网络...     

海量数据分析及处理算法实现

随着科学技术的发展,计算机的计算能力每年也都在飞快增长,需要处理的数据量更是呈指数级的增长。这样,对海量数据的分析处理是当今的重要话题之一。在实际应用中,因为笔者需要处理csv文本文件中的海量数据,数据量至少在25M以上,并要求处理时间能达到客户的需求,所以设计了一种快速处理海量数据的算法。该算法中包括对海量数据的提取...     

一种基于MapReduce的粗糙集并行属性约简算法

云计算技术是海量数据挖掘的一种高效解决方案,将MapReduce并行计算模型与粗糙集属性约简算法相结合,提出一种基于MapReduce的浓缩布尔矩阵并行属性约简算法.该算法提高了粗糙集属性约简算法对大数据的处理能力和效率,并能适应云计算环境.实验结果表明,所提算法具有良好的效率、加速比和可扩展性.     

基于遗传算法的批处理科学工作流任务调度算法的改进

随着云计算应用的不断深入以及对大数据处理需求的不断提升,越来越多的企业选择使用云平台处理海量的数据。由于云计算的商业性,这就对云计算中的任务调度提出了更加严苛的要求,如何合理且经济地完成任务调度成为了研究云计算的关键问题之一。批处理科学工作流是大数据时代的一种新型工作流建模形式,近两年已引起业内的重视,但当前仍处于起步阶段。本文首先对当前传统的任务调度算法进行分析,并指出其中的不足之处,从而改进了基于遗传算法的批处理科学工作流任务调度算法BIGA(batch scientific workflow task scheduling based on improved genetical gorithms),在满足固定截止期的条件下,以任务调度成本最优优化目标,分别对独立任务调度与非独立任务调度进行研究实验。最后在Matlab中进行模拟实验,结果表明:本文的改进算法在满足任务截止期的情况下与按比例划分截止期经典调度算法相比,在一定任务规模下,完成任务调度所需成本更低,更加符合云资源的使用特征与用户需求。     

高校云计算数据处理中虚拟机迁移与轮转模式研究

针对高校云计算数据处理应用中的虚拟器迁移和数据处理任务调度问题,首先提出一种新颖且高效的数据依赖感知的虚拟机迁移方案(简称为DataAware)。在进行虚拟机迁移时,DataAware考虑了虚拟机之间的数据依赖性和服务器的剩余容量,以此减少迁移产生的网络流量。然后,为了进一步提高云计算中数据处理的性能,提出一种基于轮转模式的同步并行轮转(SPR)调度算法,以减少由数据汇聚而形成的通信瓶颈。最后分别采用仿真实验和理论分析评估所提出方法的性能。仿真实验结果表明,DataAware能够大大地减少网络流量,提高网络性能。通过推导出SPR策略的误差上界,说明采用SPR模式对数据处理任务进行调度能使数据处理算法收敛。     

物联网云服务的设计与实现

在当前的数据信息时代,全球以电子方式存储的数据总量正在飞速的增长,2011年全球数据量已经超过1.8ZB。海量数据的存储与快速分析也因此对传统的计算机形成一个严峻的挑战。云计算的快速、高效等特点成为它处理海量数据的优势。     

云计算环境下差异性资源调度特征匹配算法

云计算环境是一个大型资源池,资源池中的数据特征具有较大的差异性,需要进行特征匹配实现提高资源调度的效率。提出一种基于决策树最优解集路径规划的云计算环境下差异性资源调度特征匹配算法。构建云计算环境下的差异性资源调度模型,设计决策树最优解集路径规划算法实现对特征的优化匹配,从整个任务图的全局出发考虑任务的优先级,创建一个资源公用库,把所有决策树节点分布到各个存储服务器上解决了海量索引数据的存储需求,提高资源调度性能。仿真结果表明,采用该算法能有效提高云计算的资源调度的吞吐性能。     

国内云计算研究领域核心作者群知识结构及演化路径分析

基于海量数据可视化分析方法, 对云计算的出现背景和发展历史进行计量分析。首先确定一批云计算研究领域核心作者, 基于这一作者群近十余年来发表文献的题录数据, 构建云计算核心作者群的研究共词网络。引入社群结构抽样算法和G-N聚类算法, 对领域研究总体分布情况进行分析。引入概念团队隶属度算法, 对重点学科团队研究特色进行比较分析。从时间维度分析云计算核心作者群进入该领域前后研究兴趣点的迁移轨迹, 并对国内云计算领域演化发展的基本阶段进行划分。     

国内云计算研究领域核心作者群知识结构及演化路径分析

基于海量数据可视化分析方法,对云计算的出现背景和发展历史进行计量分析。首先确定一批云计算研究领域核心作者,基于这一作者群近十余年来发表文献的题录数据,构建云计算核心作者群的研究共词网络。引入社群结构抽样算法和G-N聚类算法,对领域研究总体分布情况进行分析。引入概念团队隶属度算法,对重点学科团队研究特色进行比较分析。从时间维度分析云计算核心作者群进入该领域前后研究兴趣点的迁移轨迹,并对国内云计算领域演化发展的基本阶段进行划分。     

云存储数据缩减技术研究

基于云计算应用中的云存储技术,使数据存储变得安全可靠和易管理。在云存储技术数据存储的过程中,不仅考虑数据读写的速度,还得处理数据存储效率,以便满足当前海量信息存储的需求。云存储中的数据缩减技术可以缩减数据信息量,提高存储的效率,满足数据存储急剧的要求。通过对几种数据缩减技术进行比较研究分析,探讨了对数据处理后存储的效率以及每项技术发展状况,为用户选择云存储数据缩减技术提供有力的参考。     

多目标云资源最佳适应匹配算法的研究

随着云计算的持续研究和发展,面向用户需求的云资源管理与选择是云计算中的重要研究方向之一.为了满足用户的多种云资源需求,使用树型云资源属性管理表(AMT-Tree)对云资源进行管理,并提出一种多目标云资源最佳适应匹配算法(MoOam),保障用户在海量数据下得到最优资源.实验结果表明:MoOam算法在资源匹配中是有效的.     

基于云计算的高校信息化虚拟学习体系的研究与探索

通过对移动学习的数据处理与存储的分析,提出搭建基于hadoop的信息化虚拟学习平台,并结合泛在学习的实际应用,构建信息化虚拟学习体系,利用云计算的海量数据与高处理能力,提升学生的学习效率,全面发展学生的综合能力。     

基于G4ICCS系统的数据挖掘并行算法

针对传统决策树SPRINT（Scalable Parallelizable Induction of Decision Trees）算法不能处理海量地学数据挖掘的问题, 设计实现了基于G⁴ICCS(Geology Geography Geochemistry Geophysics Information Cloud Computing System）的决策树并行分类算法PSPRINT。该算法使用哈希表存储连续属性分割点两侧的数据记录, 为并行节点的分割提供依据, 在MapReduce架构下解决了海量地学数据挖掘问题。实验结果表明, 在模拟的云计算环境下, 决策树并行算法可以处理海量地学数据分类问题, 并获得较好的稳定性和较高的处理速度。