一种基于多属性的空间例外挖掘改进算法

空间例外是指与其邻域内其它数据表现不一致或者是偏离观测值以至使人们认为是由不同体制产生的观测点.传统的例外挖掘是根据一个非空间属性值进行例外判断,这种方法容易引起判断失误.在对多个属性进行考虑的基础上,提出了一种基于多属性的空间例外挖掘算法,并与属性加权算法在正确性和有效性方面进行了比较分析.实验证明算法可以有效地发现例外数据.     

基于三段式编码GA的连续属性关联规则挖掘方法

如何有效地从具有连续属性的数据中挖掘关联规则,是目前数据挖掘领域的一个研究热点。论文基于遗传算法,提出了一个连续属性关联规则挖掘方法。在该方法中,首先采用三段式编码将连续属性离散化、属性约简和规则提取集成在一起,然后将小生境引入到遗传算法中,以避免早熟、提高挖掘效率。实验表明,该方法是有效的。     

基于信息熵的粗糙集连续属性离散检验算法

为提高大数据粗糙集挖掘能力,提出基于信息熵的粗糙集连续属性离散检验算法﹒在云计算环境下进行粗糙集连续属性大数据挖掘,采用特征空间重组方法进行粗糙集连续属性离散数据的模糊特征重构,提取粗糙集连续属性离散数据的信息熵,并得到其分布序列特征;对所提取的信息熵进行聚类分析,采用空间决策树模型,获取离散数据闭繁项关联分析度量;通过数据特征权重的决策树分布特征量化集,得到粗糙集连续属性离散数据空间重组;采用大数据挖掘方法,将离散数据空间重组的信息融合,得到优化的粗糙集和连续属性离散数据检验输出;根据粗糙集连续属性的融合结果,实现离散检验优化﹒仿真结果表明:在迭代次数为400时,收敛程度为0.265%,远远高于其它方法,证明采用该方法进行粗糙集连续属性离散检验的数据聚类性较好﹒     

基于图的空间例外检测算法研究

 空间例外检测可以发现许多意想不到的潜在知识.已有的空间例外检测算法都是在多维几何数据集合中进行的文章在图结构数据集合中发现空间例外.首先,结合空间数据的特点并基于DB(ρ,d)例外的定义提供了基于相异度的空间例外SDB(ρ,d)例外的形式化定义,然后给出了相应的空间例外挖掘算法.     

连续属性的关联规则挖掘

对具有连续属性的数据进行关联规则挖掘,构造了一种新的编码方式,采用三段式染色体(个体),将连续属性离散化、属性约简和规则提取集成在一起,并将小生境引入到遗传算法中,以避免早熟现象.实验表明,该算法是有效的.     

时空轨迹数据存储方法研究

时空轨迹数据的存储方法是轨迹数据管理中的重要课题,直接影响轨迹数据挖掘算法的性能.本文根据轨迹数据访问方式的不同提出了3种轨迹数据的存储方法,分别是原序保持的轨迹存储方法、空间属性优先的轨迹存储方法和时间属性优先的轨迹存储方法.存储的原则是每次数据访问所涉及的数据应该尽可能被连续存储.将上述3种轨迹数据存储方法加以实现,基于真实数据集的实验表明,按照数据访问的特点为轨迹数据挖掘算法选择合适的轨迹存储方法,可以有效地提高挖掘算法的执行效率,更好地支撑轨迹数据分析挖掘任务.     

一种基于基尼指标的高维数据离群挖掘算法

针对高维数据集中的离群点挖掘任务,给出了一种基于基尼指标和属性相关性分析的高维数据离群点挖掘算法.该算法首先采用属性相关性分析方法,删除高维数据集中的冗余属性,缩减了数据集的大小;其次采用基尼指标作为离群度量因子,从缩减后的数据集中,挖掘出不同离群程度的数据点;最后,实验采用天体光谱数据作为实验数据集,经实验验证,该算法对高维数据集中离群点的挖掘算法是有效的和可行的,其效率得到了明显的提高.     

混合属性相关度计算方法研究

对于混合属性相关度的计算,现有方法的做法是将连续属性离散化后,用基于频率的计算方法来计算.而连续属性离散化可能会丢失部分信息,为属性评估带来不确定因素.在此提出一种直接计算混合属性相关度的方法:将一个连续属性中的所有数据,根据一个离散属性的属性值分组,以分组连续属性前后数据方差的关系确定两个属性的相关度.在两个真实数据集及常用机器学习数据集上的实验结果表明:该方法可以有效度量混合属性数据之间的相关程度.     

一种基于可信度最优的数量关联规则挖掘算法

研究了数量关联规划挖掘过程中的连续属性离散化问题,描述了连续属性离散化方程,包括连续属性区间划分算法和数据库样本大小的确定,提出了基于可信度最优的数量关联规则挖掘算法。该算法首先利用等深度划分算法对连续属性进行离散化,然后利用凸包处理技术提取强规则中可信度最高的数量关联区间,它对于数量关联规则的优化有着重要的应用价值。应用该算法对股票行情进行了数量关联分析,提取股票涨跌与股票价格之间可信度最高的关联规则。实验表明该算法是非常有效的。     

基于联合信息熵和粗糙集理论的关联知识发现

研究了基于联合熵和粗糙集理论的关联规则挖掘算法,改进了基于粗糙集的属性离散化方法—连续属性联合熵差离散化算法;以联合信息熵作为属性约简的标准,提出了基于联合熵的知识约简算法;并给出了以支持度、兴趣度和准确度为阈值的有效关联规则算法.     

一种分类挖掘算法及其应用

提出一种增量式混合型分类挖掘算法,将基于概率论的符号学习与神经网络学习相结合,能够对既包含离散属性又包含连续属性的多个概念进行有效的分类处理,且具有较强的增量挖掘能力。该算法在法院决策支持系统中得到了运用,取得了较好的效果。     

基于关键属性约束的关联规则挖掘在日志分析中的应用

日志是计算机取证,入侵检测分析的重要数据来源,运用关联规则挖掘算法对日志进行分析是获取日志中所蕴含有用信息的重要方法.针对基于置信度一支持度框架的常用关联规则挖掘算法在日志分析中存在的不足,引入日志关键属性的概念,提出了基于关键属性约束的关联规则挖掘算法.实验结果表明,该算法能有效阻止无趣规则的产生,提高挖掘结果的有效性.     

属性内-融合与数据融合挖掘

属性融合是潜藏在 P-集合内的一个重要的应用特性,P-集合的动态特性来自 P-集合的属性融合。利用内 P-集合的结构与动态特性,给出属性内-融合概念、结构和定理,最后给出在属性内-融合条件下的数据融合挖掘和数据融合挖掘准则与数据融合挖掘-筛选的应用。     

基于模糊集和粗糙集的关联规则挖掘策略

提出了一种对原始数据先进行模糊聚类,再提取规则的基于模糊集和粗糙集技术的关联规则挖掘策略,可以在一定程度内减少噪声数据的干扰,消除数据对象中的冗余属性,有利于提高规则挖掘的有效性．     

复杂属性环境下NoSQL分布式大数据挖掘方法研究

由于复杂属性环境下的大数据挖掘工作需要涉及到对大数据的分析、清理、转换和集成等一系列操作,导致以往提出的复杂属性环境下大数据挖掘方法无法同时拥有较强的准确性、稳定性和实用性,故提出复杂属性环境下NoSQL分布式大数据挖掘方法。所提方法利用NoSQL数据库的物理分散逻辑,在复杂属性环境下构建NoS QL数据库,给出挖掘条件,对数据库中大数据的特征、位置、方向和长度属性的关联性进行分布式挖掘,经由挖掘公式给出挖掘结果。利用挖掘聚类公式对大数据的特征、位置、方向和长度属性的关联性挖掘结果进行聚类,获取所提方法的最终挖掘结果。经实验分析可知,所提方法在挖掘工作中具有较强的准确性、稳定性和实用性。     

基于属性预扫描的不确定性函数依赖挖掘

函数依赖是关系数据库和数据建模中所需的关键约束知识。在海量数据中挖掘函数依赖时为降低噪音干扰和提高效率,该文采用带有满意度函数依赖的概念及挖掘带有满意度函数依赖的算法(MFDD),对噪音进行测度与表达,并有效挖掘得到函数依赖最小集。利用对属性散列度的测度概念,在带有满意度函数依赖的理论框架内采用3条优化策略,实现了属性预扫描算法。结果表明:基于该算法可显著提高挖掘效率。     

面向中文网络百科的属性和属性值抽取

针对面向中文网络百科条目文章的属性和属性值抽取, 提出一种无监督方法。此方法将属性值看做命名实体, 利用频繁模式挖掘和关联分析, 从文本中抽取类别属性; 采用自扩展方法为属性建立触发词表; 基于属性触发词和属性值实体标注挖掘属性值抽取模式, 利用层次聚类算法获取高质量的模式。在互动百科中采集的数据集上进行实验, 结果表明所提方法行之有效。     

数据流上基于属性最优分类的熵判定树构造方法

讨论了基于最优属性分类的熵构造判定树数据流挖掘算法,阐明算法中如何处理分枝属性、选取最优属性以及数据清理及剪枝等关键环节,可及时快速的对数据流进行及时有效的处理,此方法可满足数据流聚类的应用要求。     

基于属性预扫描的不确定性函数依赖挖掘

函数依赖是关系数据库和数据建模中所需的关键约束知识。在海量数据中挖掘函数依赖时为降低噪音干扰和提高效率,该文采用带有满意度函数依赖的概念及挖掘带有满意度函数依赖的算法(MFDD),对噪音进行测度与表达,并有效挖掘得到函数依赖最小集。利用对属性散列度的测度概念,在带有满意度函数依赖的理论框架内采用3条优化策略,实现了属性预扫描算法。结果表明:基于该算法可显著提高挖掘效率。     

基于遗传算法和变精度粗糙集的离散化算法

目前常用的离散算法多为单属性离散化算法.利用该类算法对多维连续属性进行离散化时,逐次对单个属性进行离散化,割裂了多维属性之间的关系.基于此提出了一种基于遗传算法和变精度粗糙集的多属性离散化算法.该算法基于变精度粗糙集所具有的较好数据分类容错和抗噪能力,通过变精度粗糙集近似分类精度建立遗传算法适宜度评价函数,并利用遗传算法在多维连续属性候选断点集上寻找最优断点子集.基于UCI数据集比较了所提算法与多种常用的离散化算法的差异,实验结果表明,该算法可以获得相对较好的离散化效果.