基于不确定数据的分布式Top-k查询算法

目前基于不确定数据的Top-k查询算法仅考虑了集中式的环境,为了解决分布式系统中节省系统带宽的问题,在此基础上,提出了在分布式环境中基于不确定数据的Top-k查询算法UDTopk.该算法定义了一个候选集(candidate set),仅使用候选集中的数据,而不用访问数据集中所有数据,就可以得到正确的Top-k查询答案.算法通过动态维护候选集、仅传输少量数据,达到减少网络中数据传输的目的.实验结果表明,该算法可以有效地节省网络带宽.     

不确定数据流上的离群点检测处理

提出了一种快速不确定数据流上的离群点检测算法. 采用分层次划分思想给出了适用于流式数据的索引构建方法,并为索引结构中的叶子结点增加了部分存储信息,使得在数据更新时新流入的数据点可以利用中间结果信息直接完成批量过滤,降低计算成本. 通过分析离群概率值求解的递推规律,给出了一种全新的离群概率值求解方案,该方案可以最大可能地避免全近邻集合的迭代计算,减少了大量的非离群点计算代价,从而加快处理速度. 实验结果表明,快速不确定数据流上的离群点检测算法能够有效地提高检测效率.     

一种基于预裁剪的不确定数据流频繁项集挖掘算法

随着交通、网络流量监控等应用的涌现,不确定数据流频繁项集挖掘成为近年来的研究热点。通常在不确定数据流中,频繁项集所占的比例较小,导致挖掘中无效操作较多。基于这种情况,提出了一种基于预裁剪的不确定数据流频繁项集挖掘算法Prep-UF-Streaming;该算法,不仅能裁剪掉大部分非频繁项集,提高了算法的平均运行时间;而且能够检测到非频繁项集成为频繁项集的可能性,尽量不丢失频繁项集,从而尽可能地提高算法的性能。     

基于析取规则对不确定数据挖掘的优化研究

在商业、医疗等数据分析中,不知道存在或不存在的一些项目事件组成的数据叫做不确定数据,它的特点是离散型随机变量的概率分布,不确定数据中的挖掘算法研究是当前大数据分析中的重要方向.针对不确定数据的随机变量性特征,有效提高挖掘结果的置信度和提高算法运行时间,本文提出一种挖掘析取关联规则的算法DRUD,利用模糊集的方法选取2元频繁项集,对比最小支持度,完成有效的析取规则提取.经过在大量不同不确定数据库中仿真表明,对比类似算法UApriori和PFCIM,本文所提出的DRUD算法产生的规则置信度得到提高,算法效率有较好改进,新的算法更加适用于不确定数据中的大数据挖掘应用.     

P2P环境下面向不确定数据的kNN查询方法

由于仪器的不精确和网络延时等原因,在传感器网络和P2P系统中数据都存在不确定性.为解决此问题,基于现有的集中式的不确定数据的kNN查询方法,提出了一种在P2P环境中对不确定数据的kNN查询方法.该方法在super-peer的网络拓扑结构的基础上,以一种扩展的R树(P2PR-tree)作为此查询算法的空间索引结构,解决P2P环境中对多维数据的索引.并且结合两种剪枝策略减小了候选集的范围和减少了查询在P2P网络中的网络代价.实验结果表明,该方法在减少网络代价方面具有较高的性能.     

考虑数据不确定性的非均匀挖掘算法

针对高维大数据不确定性的非均匀挖掘问题,提出一种基于不确定频繁模式树的模糊逻辑非均匀数据挖掘算法.首先,在考虑数据不确定性的前提下建立高维数据的区域连接演算(RCC)模型,并基于数据集合组元定义分析不确定数据集合的模糊距离;然后,采用不确定模式树对数据的非均匀特性进行均匀泛化处理,并给出了具体的实现步骤.仿真结果表明:文中方法有效地提升不确定非均匀数据集合在不同支持度情况下的挖掘效率.     

一种基于不确定数据的频繁模式分布式挖掘算法研究

大多数真实世界的数据都是局部收集,分区组织的,因此真实数据一般具有分布式特性.通过挖掘这些数据将提供决策者辅助决策信息.提出了一种基于不确定数据的频繁模式分布式挖掘算法,该算法在构建不确定数据生成交易决策树的基础上,提出了在分布式环境下,顺序执行和并行执行分别处理决策树的方法和技巧.实验结果表明,该算法可节省大量的处理时间,提供可靠的辅助决策信息.     

一种面向不确定数据流的聚类算法

作为大数据的重要组成,产生于传感器、移动电话设备、社交网络等的不确定流数据因其具有流速可变、规模宏大、单遍扫描及不确定性等特点,传统聚类算法不能满足用户高效实时的查询要求.首先利用MBR(minimum bounding rectangle)描述不确定元组的分布特性,并提出一种基于期望距离的不确定数据流聚类算法,计算期望距离范围的上下界剪枝距离较远的簇以减少计算量;其次针对簇内元组的分布特征提出了簇MBR的概念,提出一种基于空间位置关系的聚类算法,根据不确定元组MBR和簇MBR的空间位置关系排除距离不确定元组较远的簇,从而提高聚类算法效率;最后在合成数据集和真实数据集进行实验,结果验证了所提出算法的有效性和高效性.     

一种基于特征子图的不确定图分类算法

采用频繁子图作为特征子图,对不确定图进行分类.提出AGF频繁子图挖掘算法,该算法将频繁子图挖掘问题转换为频繁项挖掘问题,可有效提高频繁子图生成效率.利用频繁子图构造分类模型,首次应用于不确定图,通过实验证明,给出的分类算法具有良好的分类正确率.     

基于圆盘极点约束的系统不确定项容忍区间分析

基于一类线性系统的圆盘极点配置问题,提出了系统不确定项容忍区间的概念.利用系统不确定项单一偏差模型,给出了圆盘极点配置不确定项容忍区间的算法.系统设计者可以依据各不确定项的增益容忍区间,判断出各不确定项对闭环系统极点变化的影响程度,在工程设计中,根据其影响程度既可以降低设计的保守性来减少能源的浪费,同时也可设计出具有较高安全性能的系统.     

一种挖掘不确定性数据频繁项集的方法

该文探讨挖掘不确定性数据频繁项集,在Carson Kai-Sang Leung等人提出的一种基于树的UFPgrowth算法的基础上进行改进,提出新算法-UFP-growthT.实验表明,该算法可以有效地挖掘不确定性数据的频繁项集,且拥有高效性和伸缩性.改进后的算法在一定程度上减小了UFP-tree的大小,加快了挖掘过程...     

基于多支持度的挖掘加权关联规则算法

关联规则挖掘是数据挖掘中一个重要的模型．在其挖掘算法中，如果最小支持度很高，则出现频率比较低的规则就不能发现；如果最小支持度太低，因为频繁项的相互关联，则会出现组合爆炸．为此，提出了允许用户设定多个最小支持度、给定数据各项的权重来解决这一问题．理论、实验数据和实际应用证明，该新算法可行且符合实际情况，比同类算法用时更少，对大型数据库的关联规则挖掘非常有效．     

一种不确定性数据中最大频繁项集挖掘方法

不确定性数据挖掘已经成为数据挖掘领域的新热点,频繁项集挖掘是重点研究的问题之一.但是目前出现的挖掘算法大多集中在完全频繁项集,而用于最大频繁项集和频繁闭项集的算法尚不多见.文中研究了一种基于UF-Tree的用于不确定性数据中挖掘最大频繁项集的算法,该挖掘过程分为两个步骤,第一步先得到以频繁1-项集为后缀的局部最大频繁项集,第二步得到所有的全局最大频繁项集,实验证明该算法性能良好且特别适用于稠密型、事务长度较小的数据集.     

一种高效的不确定数据流Top-K 查询算法

在传感器网络、RFID等各种应用中会产生大量不确定性数据,有效的Top-K查询处理是不确定性数据管理中一项重要技术。针对已有的Top-K查询没有很好地结合元组的分值和不确定性,在分析不确定性数据模型和可能世界模型的基础上,定义了不确定数据流元组的查询语义。设计并实现了一种有效的Top-K查询算法。该算法按照元组的得分值进行降序排列,概率值最高的前K个元组集合就是Top-K的查询结果,实验结果表明,与CSQ和SCSQ算法相比,更具高效性和实用性。     

数据流挖掘算法在网络安全中的应用研究

入侵检测技术是网络安全中的核心技术,把数据流中频繁项集的挖掘应用于入侵检测系统中正常和异常数据分析已是当前网络安全中的一个重要发展方向.流入网络流中的数据高速并且无限到达,所以利用传统多遍扫描数据库的挖掘技术来构建入侵检测模型已受到局限.针对频繁模式多维的特点,提出了一种新型数据结构SW.Tree,并给出了一种高效的挖掘网络访问数据流的挖掘算法,把这种算法应用于网络入侵检测模型中频繁模式的挖掘,取得了较好的成效.     

基于投影数据库的序列模式挖掘增量式更新算法

针对序列模式挖掘中的增量挖掘问题,提出一种序列模式更新算法ISPBP.算法引入序列数据库结构来存储从原始数据库中挖掘出的所有项、最大频繁模式以及它们的支持数,采用间接拼接方法,只需处理增量数据库,避免了对更新后数据库的重新计算.对于因增量数据库新产生的频繁模式,利用了在增量数据库中出现的频繁项集来减小投影数据库,进一步提高了算法的效率.理论分析和实验表明,算法是有效可行的,并且增量数据库越大,算法在效率上的优越性越明显,算法ISPBP优于传统增量式更新算法.     

基于离群因子的不确定数据生成算法

基于不确定数据的表示模型, 针对属性级不确定数据, 提出一种不确定数据生成算法AC UDGen（attribute level continuous uncertain data set generation algorithm）. 该算法通过引入离群点检测 LOF（local outlier factor）算法, 用每个数据对象的离群因子作为参数来控制不确定数据对象的扰动范围, 可很好地满足原始数据的分布特征, 解决了目前工作中缺乏原始数据分布特征的问题. 实验结果表明, 该算法生成的不确定数据集具有更好的聚类效果, 并降低了离群点对聚类结果的影响, 使每个数据对象MBR(minimum bounding rectangle)的大小可根据自身的分布特征自适应地变化.