计算机海量数据处理SLIQ算法研究

探讨云计算在SLIQ算法中的应用,研究结果显示,云计算下的SLIQ算法能够对计算机海量数据存储中的节点失效问题有效解决,并且显著提升计算机数据处理效率,进一步降低数据处理难度与复杂度,还可以快速挖掘海量数据信息。     

海量数据处理过程中数据挖掘算法的应用

信息时代的快速发展带来的是信息总量呈现几何级数的增加,而海量数据的存储和分析处理对计算机硬件能力和数据分析能力都是一个极大的挑战．数据挖掘算法是针对于大批量数据处理而提出并逐步发展起来的,基于完备的数据库技术,可以在云计算算法、矩阵压缩算法和并行关联算法的基础上,进行算法集成,能进一步提高数据挖掘的速度、精度和时效性,在实际海量数据的处理过程中有较好的适应性,为海量数据处理提供了新的技术分析方法．     

基于云计算的并行k-means算法研究

针对传统k-means聚类算法面对海量数据存在时间复杂度急剧增加的问题,结合云计算的优势,提出基于MapReduce编程框架来实现k-means聚类算法的并行化处理。Map函数完成每个样本记录到聚类中心的距离计算并标记其所属聚类类别,Reduce函数汇总中间结果并计算出新的聚类中心,供下一轮迭代使用。通过实验表明:基于MapReduce的并行化k-means聚类算法具有较好的加速比和良好的扩展性。     

海量数据分析及处理算法实现

随着科学技术的发展,计算机的计算能力每年也都在飞快增长,需要处理的数据量更是呈指数级的增长。这样,对海量数据的分析处理是当今的重要话题之一。在实际应用中,因为笔者需要处理csv文本文件中的海量数据,数据量至少在25M以上,并要求处理时间能达到客户的需求,所以设计了一种快速处理海量数据的算法。该算法中包括对海量数据的提取...     

并行文件系统在气象卫星海量数据可视化系统中的应用

气象卫星数据可视化系统的目标是，以直观的图像方式呈现数据。由于气象卫星数据是海量的，基于常规技术的系统，在并发用户较多的情况下，响应速度比较慢。本文描述的卫星数据可视化系统采用Lustre并行文件系统存储海量卫星数据，使系统的响应速度得到了较大的提高。本文以NDVI为例，给出了测试结果，从而验证了本文所提出的解决方案的合理性和有效性。     

云计算环境下煤矿应急管理海量数据存储技术

随着物联网、无线传感器网络等技术在煤矿应急管理信息化建设中的广泛应用,煤矿大量监测、控制及自动化等实时系统产生的流式数据会形成相当规模的数据集,对煤矿企业现有信息系统构架的海量数据存储及处理性能提出了更大的挑战。为了研究应对此挑战的海量数据存储技术,通过分析煤矿应急管理海量数据的来源及其特点,设计了云计算环境下基于NoSQL的煤矿应急管理海量数据存储方式,并对煤矿应急云平台进行了Hadoop基准测试,同时利用陕西黄陵矿业集团一号矿井某段周期内的瓦斯数据,对煤矿应急云平台和DBMS系统的处理性能进行对比。实验结果表明,基于Hadoop构建的煤矿应急云平台在海量数据存储与处理时均有良好的性能表现。     

基于指纹术的海量数据等同匹配判断算法

远程海量数据进行完整性审计工作,会占用大量通信信道,在此提出了基于指纹术的海量数据等同性匹配判断算法,对算法的有效性进行了证明.利用此算法进行海量数据等同性判断可大大提高工作效率,同时极大地减少了对通信信道的占用.     

海量用电数据并行聚类分析

针对用电数据量大、用电数据挖掘效率低等问题,采用理论分析和实验的方法,进行用电数据并行分析构架的研究,研究了Canopy和K-means两种典型的聚类算法,提出一种新的聚类思路,使用Canopy先对用电数据进行粗略处理,得到聚类个数和聚类中心,再用K-means精确聚类,既利用了K-means算法简单、收敛速度快的优势,又使其不容易陷入局部最优.为达到处理海量数据的目的,把提出的算法部署到MapReduce框架上进行实验.研究结果表明:提出的算法在海量用电数据的处理方面高效可行,并且具有良好的加速比.     

一种面向海量实时数据的信息检索算法

网络信息资源的迅猛膨胀推进了信息检索技术的发展和成熟,但将现有的技术应用于海量实时网络数据时,传统的信息检索算法仍存在种种不足之处.本文中以CERNET华(东)北地区的海量实时网络数据环境为依托,研究和设计了两段向量簇聚类信息检索算法,通过插入聚类和优化聚类两阶段的操作,提供高效的信息处理能力.同时,基于簇聚类树实现了群发邮件甄别的应用,对网络数据中的垃圾邮件进行过滤,进一步地提高检索效率.     

物联网中的海量数据处理技术

物联网近年来得到了迅速的发展.停随着各种传感设备的使用,物联网所处理的数据量呈现出海量特征.如何对这些数据进行高效处理,从中获取有用信息,进而提供智能决策,是物联网面临的关键问题.该文对物联网中使用的海量数据处理技术进行了介绍.     

区间数据的并行模糊聚类算法

研究了对区间数据进行聚类的模糊聚类算法；介绍和分析了模糊c-均值算法的基本思想及实现步骤；定义了区间数据的距离和四则运算，并推广模糊c-均值算法对区间数据进行聚类．在此基础上，讨论了对区间数据进行聚类的并行模糊c-均值算法．在分布式互连的PC／工作站环境下进行性能分析，结果表明并行的模糊c-均值算法具有好的可扩展性、规模增长性和加速比性能．     

一种基于Dijkstra的海量空间数据最短路径算法

为了解决海量空间数据的快速网络分析,在分析Dijkstra算法缺点的基础上,提出并详细介绍了一种基于Dijkstra算法的优化算法-邻接结点算法,该算法充分利用了网络拓扑信息中的弧段的连接关系,避免了使用含有大量无穷值的关联矩阵,结果表明:该优化算法可以节约大量的内存,适合海量数据的网络分析.实践证明,该算法对于结点数比较大的网络具有较好的适用性.     

海量数据下线性混合效应模型的估计算法

基于以往文献提出线性混合效应模型参数的三步估计方法,避免了繁杂的极大似然估计迭代步骤。同时为进一步解决海量数据下计算估计量时存在的存储瓶颈及计算时间过长问题,在海量纵向数据的两种不同数据格式下,分别基于三步估计方法利用分治算法计算模型参数的估计量。数值模拟和实证分析结果表明,本文所提出的三步估计方法和估计量的分治算法可以减轻计算负担,减少占用内存,解决内存不足的问题,并提高计算速度。     

海量数据广义线性模型变量选择算法研究

首先推导出了用于求解一般广义线性模型变量选择问题的非凸惩罚迭代估计算法,并利用分治思想对算法进行修正,使其能够适用于海量数据情形,以解决海量数据下进行变量选择时可能存在的内存溢出等问题。考虑到当前处理海量数据实际使用的工具,进一步给出了算法在分布式并行下的计算步骤,大幅提高了计算速度。在数值模拟中,通过单机和集群两种方式对算法进行数值计算,结果表明本文方法有效解决了数据存储问题且适用于分布式环境。最后,通过所提算法来完成Probit模型的变量选择,并将其用于新闻数据集的分类问题。     

基于数据属性与服务的叠前深度偏移并行算法

在三维叠前Kirchhoff深度偏移的大规模并行计算过程中,高效存储与获取射线旅行时数据是非常必要的.为此提出一种以"属性关联表"和"数据服务进程"为基础、基于分布存储的三维叠前Kirchhoff深度偏移并行算法.通过"属性关联表",在射线旅行时的计算阶段可大大提高存储效率;通过"数据服务进程",在地震道(集)的成像阶段可及时响应来自各个工作进程对所需射线旅行时数据的请求.实际测试结果表明,该并行算法具有较好的可扩展性,当在64个处理器上运行时并行效率仍高于84%.     

大规模MIMO信号检测算法研究

大规模MIMO技术通过增加基站天线数大幅提高系统频谱效率和能量效率,是未来5G移动通信网络的关键技术。文中在大规模MIMO系统模型下,对多种信号检测算法进行仿真,研究其性能,对大规模MIMO技术的实际应用具有一定的指导意义。对仿真结果的分析表明,当基站天线数远远大于用户数时,简单的线性信号检测算法也能达到很好的系统性能。     

一个结构优化设计的并行算法

将结构分析中的最小总势能原理加以推广，建立了结构优化中的最小总势能模型，使结构的分析与优化相结合，不再需要在每次迭代中进行完整的重分析。这种方法充分利用了结构优化的并行性；算例表明，其具有较高的加速比和计算效率。     

一种大区域洪水淹没范围快速提取的分块种子蔓延算法

快速、准确的获取洪水淹没范围是洪灾损失评估和防洪决策的核心环节.常规种子蔓延算法由于存在大量的递归运算,效率不高且无法处理大区域海量地形数据.针对上述问题,提出了一种大区域洪水淹没范围快速提取的分块种子蔓延算法,将研究区域分成预先设定大小的块,种子蔓延以块为单位进行组织处理,块的数量远小于原始DEM格网单元的数量.该算法有效解决了常规种子蔓延算法递归运算层次过深的问题,可实现大区域海量数据在给定淹没洪水水位条件下的淹没区快速提取.     

分数间隔采样的并行均衡新算法

由于模拟接收机在宽带条件下的性能不稳定等缺点,全数字接收机逐渐引起了人们的兴趣.针对一种全数字并行接收机结构(APRX), 提出了一种分数间隔的并行均衡新算法(PFSE). 该算法基于恒模算法(CMA), 充分利用了APRX中的数据重叠特点,实现了与上述APRX结构的完美结合.此外,还分析了由于该并行均衡器的引入,对APRX环路稳定性、环路噪声带宽等性能所产生的影响.仿真结果表明 该并行分数间隔均衡器的性能相对于波特间隔采样的均衡器具有明显的优势,而且相对于串行分数间隔均衡器,就消除串扰能力而言,该并行算法基本上没有带来损失.