基于并行计算的多副本空间数据离散布局策略

根据空间数据的特点及其关系, 提出一个负载均衡的空间矢量数据布局目标, 并结合特定环境, 采用基于图着色理论的空间数据布局算法及多副本的数据安全机制, 提高了空间数据部署在并行环境下, 数据节点上任务的执行效率和数据安全性. 实验结果表明, 该布局方法能实现数据的均衡布局, 兼顾了并行计算的效率和安全性, 适应并行计算下更多的查询应用.     

一种基于MapReduce的粗糙集并行属性约简算法

云计算技术是海量数据挖掘的一种高效解决方案,将MapReduce并行计算模型与粗糙集属性约简算法相结合,提出一种基于MapReduce的浓缩布尔矩阵并行属性约简算法.该算法提高了粗糙集属性约简算法对大数据的处理能力和效率,并能适应云计算环境.实验结果表明,所提算法具有良好的效率、加速比和可扩展性.     

分布式低秩张量子空间聚类算法

现有基于低秩表示的子空间聚类算法(LRR)无法有效地处理大规模数据,聚类正确率不高,以及分布式低秩子空间聚类算法(DFC-LRR)不能直接处理高维数据.为此,文中提出了一种基于张量和分布式方法的子空间聚类算法.该算法首先将高维数据视为张量,在数据的自表示中引入张量乘法,从而将LRR子空间聚类算法拓展到高维数据;然后采用分布式并行计算得到低秩表示的系数张量,并对系数张量的每个侧面切片稀疏化,得到稀疏相似度矩阵.在公开数据集Extended YaleB、COIL20和UCSD上与DFC-LRR的对比实验结果表明,文中算法能有效地提高聚类正确率,且分布式计算能明显降低算法的运行时间.     

基于布尔矩阵和MapReduce的FP-Growth算法

关联规则挖掘是数据挖掘的一个重要组成部分.为提高关联规则的挖掘效率,提出了一种基于布尔矩阵和MapReduce的FP-Growth算法(BPFP),分析了算法的时间和空间复杂度.该算法使用Hadoop框架和布尔矩阵以减少对事务数据的扫描次数,利用两次MapReduce来实现频繁项集的挖掘.在多个数据集上的实验结果表明,与原FP-Growth算法相比,BPFP算法具有更高的执行效率、更好的加速比.     

一种新的基于FP_Growth的频繁项目集并行挖掘算法

频繁项目集挖掘用于发现项目之间的关联规则.为了高效求解面向大数据的频繁项目集,本文提出一种新的基于FP_Growth的频繁项目集并行挖掘算法NPFP_Growth(New Parallel algorithm based on FP_Growth),该算法对频繁模式树的存储结构进行改进,基于Map/Reduce并行计算模型,利用HDFS实现数据存储,在各自计算节点上构造局部频繁模式树,求解该局部频繁模式树中每个分支的最长全局频繁项目集;对于全局非频繁项目集,计算其支持数,发送至相应计算节点进行支持度统计,从而以较为简单的算法实现频繁项目集并行挖掘.实验表明,NPFP_Growth算法具有较高的计算效率和良好的可伸缩性.     

一种挖掘不确定性数据频繁项集的方法

该文探讨挖掘不确定性数据频繁项集,在Carson Kai-Sang Leung等人提出的一种基于树的UFPgrowth算法的基础上进行改进,提出新算法-UFP-growthT.实验表明,该算法可以有效地挖掘不确定性数据的频繁项集,且拥有高效性和伸缩性.改进后的算法在一定程度上减小了UFP-tree的大小,加快了挖掘过程...     

大数据环境下的动态最短路径算法

数量庞大、类型复杂的海量数据给智能交通带来了新的挑战.文中对交通诱导中的动态最短路径问题进行了研究,提出了动态交通网络数学模型,在此基础上设计了考虑交叉口延时的动态最短路径算法,并使用当前流行的大数据技术,设计了基于Ha Loop MapReduce的动态最短路径并行计算模型,最后在连续流智能交通管控平台上对算法进行了测试.实验结果表明,文中设计的算法和基于大数据的并行计算模型可以有效地查找到大规模路网中的动态最短路径,同时能很好地满足实时性需求.     

一种基于多属性的空间例外挖掘改进算法

空间例外是指与其邻域内其它数据表现不一致或者是偏离观测值以至使人们认为是由不同体制产生的观测点.传统的例外挖掘是根据一个非空间属性值进行例外判断,这种方法容易引起判断失误.在对多个属性进行考虑的基础上,提出了一种基于多属性的空间例外挖掘算法,并与属性加权算法在正确性和有效性方面进行了比较分析.实验证明算法可以有效地发现例外数据.     

一种基于面包含关系的GML空间离群面检测算法

为了研究基于空间拓扑关系的离群检测,提出了一种基于面包含关系的离群面检测算法DOR_IR.它采用算法PLI判断面包含关系,并把面包含的对象看作面对象的属性,建立面对象的密度连通集合,相应于"噪音"的面就是离群面.运用算法DOR-IR分别在人工数据集和真实数据集上进行了测试,实验结果表明,算法DOR_IR能有效挖掘基于拓扑包含关系的离群面.     

基于属性相关分析的离群数据并行挖掘算法

针对高维海量数据集中的局部离群数据,利用并行计算和属性相关性分析思想,给出了一种离群数据并行挖掘算法。该算法首先由主节点分配属性相关分析任务,各个子节点并行查找数据集中的冗余属性,将其冗余属性传回主节点,并由主节点删除;其次,主节点分配搜索任务,各子节点采用微粒群算法,并行搜索局部离群子空间;再次,由主节点对局部离群子空间合并计算后,确定全局离群数据;最后,在MPICH2-1.0.3的并行计算环境下,采用恒星光谱数据作为数据集,实验结果验证了算法的正确性和有效性。     

最大频繁项集挖掘中搜索空间的剪枝策略

最大频繁项集挖掘可以广泛应用在多种重要的Web挖掘工作中.为了有效地削减搜索空间,提出了一种新的最大频繁项集挖掘中的搜索空间剪枝策略.这种策略基于深度优先遍历词典序子集枚举树,利用树中子节点与父节点扩展集中相同项的扩展支持度相等的特性,对搜索空间进行剪枝.应用该策略,对MAFIA算法进行改进优化.实验结果表明,该剪枝策略可以有效削减搜索空间,尤其在稀疏但包含长频繁项集的数据集上,搜索空间削减掉2/3,算法的时间效率比原MAFIA算法提高3～5倍.     

基于PFP的关联规则增量更新算法

对快速增长的数据进行挖掘的有效途径之一是采用增量式更新算法,其中最具代表性的是MRFUP算法。该算法的剪枝策略减少了关联规则的计算,但在处理增长快速的数据时效率过低,且频繁计算新增数据。文章以提高海量数据下关联规则增量更新效率为目标,通过扩展能够并行处理关联规则的PFP算法而提出一种基于PFP的关联规则增量更新算法MRPFP。该算法能充分利用云平台强大的存储和并行计算能力。该算法的实验结果表明,MRPFP处理海量数据的效率优于MRFUP算法,更适用于海量数据的关联规则挖掘。     

基于树形结构的Web信息抽取

提出了一种基于树形结构的Web结构化数据抽取算法.该算法基于HTML的树形层次结构,包括HTML树构造算法,数据区域挖掘算法,数据记录挖掘算法以及数据记录模式生成算法.算法引入了页面元素布局位置等信息用于清洗页面,采用层次划分思想实现页面数据区域的挖掘,并通过树匹配生成记录模式,实现最终数据项抽取.实验表明,该方法可以有效地实现Web结构化数据抽取.     

并行环境下的空间模式匹配

空间模式匹配在各类基于位置的服务中有广泛的应用,但在面向空间大数据时,现有空间模式匹配算法的效率难以满足实际要求.针对上述问题,采用并行计算框架Spark,设计基于空间模式边匹配并行的空间模式匹配算法PMSJ(Parallel Multi Star Join). PMSJ算法将空间模式匹配问题分解为可以独立、并行执行的称为边匹配的子问题,将计算量分散至集群中各个计算节点以提高计算效率.具体地,PMSJ将边匹配分为针对空间区域的最小边界矩形匹配与针对具体空间对象的边匹配两个并行步骤,并在计算边匹配前对最小边界矩形匹配的结果进行剪枝,排除无法产生完整空间模式匹配的匹配对.在四个真实数据集上的实验结果表明,在面向空间大数据时,PMSJ算法的效率优于现有算法.     

基于GPU的多类支持向量机改进算法

针对支持向量机算法耗时较长的问题,利用并行计算思想,基于图形处理器对多类支持向量机算法——Crammer-Singer算法进行改进,并利用循环展开、数据暂留、缓存和开放运算语言等技术对算法加以实现.分别在4个数据集上对原算法和改进算法进行对比实验,结果表明,改进算法在性能上获得了较大提升.     

基于空间划分的频繁模式挖掘算法

对关联规则挖掘问题建立了完全格描述并给出了问题规模下限,提出了一种基于搜索空间划分的项集频度计算模型.在对FP-树进行改造的基础上提出基于划分思想的频繁项集挖掘算法UPM,算法的项集频度计算和非频繁项目裁剪都基于空间划分的思想.性能实验表明,与FP-Growth算法相比,UPM算法的时空效率有较大提高.     

一种基于SMP系统的并行关联规则挖掘算法

从大规模数据库中挖掘关联规则是数据挖掘研究的一个重要问题.基于内存共享的对称多处理器系统SMP是目前广泛应用的并行计算系统,在关联规则串行挖掘算法Apriori的基础上,针对SMP系统设计一种基于Hash树的并行算法.理论分析和实验表明算法是有效的,具有良好的加速比.     

基于数据模式聚类算法的离群点检测

针对传统模式挖掘算法在事务包含模式定义上未考虑模式间的包含关系而使聚类结果不够优良的问题, 提出一种新的基于模式聚类的离群点检测算法PCOT, 该算法适合于高维数据空间, 采用一种新的事务包含模式, 通过将模式表示成超图, 用超图分割方法对模式进行聚类. 实验与分析结果表明, 该算法能有效地在高维稀疏空间中发现离群点.     

基于FP-tree挖掘密集型数据最大频繁模式算法

Fp-growth算法是当前挖掘频繁项目集算法中速度最快,应用最广,并且不需要候选集的一种挖掘关联规则的算法.但是,Fp-growth算法也存在着算法结构复杂和空间利用率低等缺点.在FP-tree结构的基础上提出了密集型数据最大频繁模式挖掘算法FP-DMax.算法FP-DMax只需要2次扫描数据库,在挖掘过程中不产生候选项集,大大提高了算法的时空效率.实验表明,算法FP-DMax在挖掘密集型数据最大频繁模式方面是高效的.     

挖掘不确定数据的最大频繁项集

针对不确定数据频繁项集挖掘效率低和准确度不高的问题,提出了一种基于改进的频繁模式树(FPtree)和遗传算法(GA)挖掘不确定数据概率频繁项集的方法,即UFPGA(基于频繁模式树和遗传的挖掘算法).该算法根据不确定数据的构成特征,改进频繁模式树方法挖掘不确定数据频繁项集,采用缩小变异空间和增加育种算子的遗传算法搜索最大频繁项集,收缩了搜索范围,提高了挖掘效率.实验结果表明:该方法在时间复杂度方面有很好的优越性,对大规模的不确定数据挖掘提供了一种有效的技术手段.