数据挖掘中并行离散化数据准备优化

在海量数据挖掘中,针对元数据的离散化数据准备处理能有效提高数据挖掘效率.本文提出了一种并行比较并获得最优离散化的数据准备算法(AOA),针对不同数据集,先进行数据集的特性检测以获得数据集分布特性,按照分布特性进行数据集的异常值检测和剔除,并行完成与分布特性适配的离散化方法处理,通过比较不同离散化方法的熵、方差指数、稳定性参数的最小欧氏距离,根据三个参数自动化比选,获得最优离散化的预处理成果.仿真表明,对不同样本数据库进行关联规则挖掘结果中,比较四种固定的离散化数据预处理方法,在使用AOA数据准备算法并行比选出最优的离散化来数据预处理后,在不同最小支持度阈值情况下,挖掘得到关联规则数都更少,因此效率得到提高.     

基于遗传算法和变精度粗糙集的离散化算法

目前常用的离散算法多为单属性离散化算法.利用该类算法对多维连续属性进行离散化时,逐次对单个属性进行离散化,割裂了多维属性之间的关系.基于此提出了一种基于遗传算法和变精度粗糙集的多属性离散化算法.该算法基于变精度粗糙集所具有的较好数据分类容错和抗噪能力,通过变精度粗糙集近似分类精度建立遗传算法适宜度评价函数,并利用遗传算法在多维连续属性候选断点集上寻找最优断点子集.基于UCI数据集比较了所提算法与多种常用的离散化算法的差异,实验结果表明,该算法可以获得相对较好的离散化效果.     

一种近似等频离散化方法

在数据挖掘和机器学习研究中,许多算法以离散值为处理对象,常常需要对连续属性进行离散化.由于正态分布的广泛性,本文提出一种基于正态分布的近似等频离散化方法.该方法实现简单,关于数据集大小具有线性时间复杂度,适用于大规模数据集.在许多数据集上与文献中多个离散化方法进行了对比测试,实验结果表明,提出的无指导的离散化方法是有效、可行的.     

分类问题中连续属性的离散化方法

提出了连续属性的一种离散化方法,指出与其他离散化方法的不同之处:离散化算法应是与挖掘目标息息相关的.研究和探讨了分类问题中的属性离散化方法,以分类精度和正域的势来评估每一步离散化过程,并将评估结果进行反馈,直至所有属性的属性值判断完为止.通过UCI机器学习数据库的实验表明,属性值个数的减少会提高在数据集上运行数据挖掘算法的效率,离散化后的分类正确率保持不变或有一定的提高.     

基于采样点曲面重构的拓扑算法的研究

针对带噪声点的点云数据提出了一种曲面重构的新算法,称为TSR Topological Surface Reconstructor(拓扑曲面重构算法).这种算法避免了在很多重构算法中一般使用的如单元格标记以及距离函数近似的大量计算.定义在Delaunay四面体拓扑元素中的一个离散的Morse函数可以计算一个算法所使用的离散的梯度域,决定哪些面属于多面近似.离散Morse理论为该种方法提供了基础,它为算法提供了一个拓扑框架来导出一个曲面的分段线性近似.最后提供了一些重构的结果,并把TSR的性能与其它某些点集重构算法进行了比较.     

基于模糊C均值聚类的粗集理论连续属性的离散化新算法

讨论模糊C均值聚类算法在决策表条件属性对决策属性的相容程度的指导下对粗集理论中的连续属性进行离散化的一种新算法.该算法充分考虑属性之间的相关性,将所有连续属性转化为矩阵同时处理,能明显提高传统动态层次聚类算法离散化过程的速度.算法测试结果表明,新算法能较好地保留有效属性,提高离散化精度.     

基于Rough集的集成离散化算法

离散化是Rough集理论研究的一个重要内容,目前基于Rough集的离散化算法很难做到高效率和高识别率兼顾.文中分析了基于断点重要性算法和基于属性重要性算法的特点,确定了离散化思路,提出了一种基于Rough集的集成离散化算法.该算法能够有效降低候选断点的数目,快速地实现决策表的离散化.实验结果表明,文中算法保持了与已有算法可比的识别率,且运行效率更高.     

一种基于关联度的区间型数据离散化方法

数据离散化是数据预处理中的一项重要内容.本文针对区间型数据离散化问题进行研究,提出一种连续区间属性值离散化的新方法,提出一种新的变量-关联度,通过区间数的关联度来描述对象间的相关性,定义关联度阈度确定离散关系,来实现对区间数据的离散化.最后采用多组数据对此算法的性能进行检验,并与其他算法做对比实验,实验结果表明本算法是...     

网络入侵异常检测中数据预处理的研究

在网络入侵异常检测中,数据预处理是一个非常重要的步骤,数据预处理的好坏直接影响后续检测的准确性．本文针对基于层次聚类的网络入侵异常检测中两个问题,在数据预处理阶段做出改进,一是属性冗余和属性权重问题,运用粗集理论对各个属性赋予权重并进行属性约减,二是粗集理论中连续数据离散化问题,提出了针对数据特点的自适应离散化算法,该算法是根据样本属性值分布来决定离散间隔,最后针对两个改进方法进行了实验,并与采用现有离散化方法进行了对比,实验结果证明了该算法的有效性和准确性．     

基于粗集理论的数据离散化技术研究

信息系统连续型属性值的离散化对决策规则或决策树的学习具有非常重要的意义，它能够提高系统对样本的聚类能力，增强系统抗数据噪音的能力，减少机器学习算法的时间和空间开销，提高其学习精度。粗集是有效的数据离散化工具。对基于粗集理论的数据离散化方法进行了深入研究，分析其特征，评述其研究进展，并通过仿真实验研究了几种典型的启发式离散化算法的性能。其结果对发展新的离散化技术或为特定应用选择合适算法都有参考价值。     

基于断点辨别力的粗糙集离散化算法

提出了基于断点辨别力的粗糙集离散化算法.通过分析候选断点与决策类之间的相关性,定义了候选断点对决策类的辨别力,并以此作为断点重要性的度量,实现连续属性的离散化.离散化后的决策系统不改变原有的相容性,而且能最大限度地保留有用信息.采用多组数据对此算法的性能进行了检验,并与其他算法做了对比实验.实验结果表明此算法是有效的,而且当候选断点个数增多时仍有较高的计算效率.     

基于断点辨别力的粗糙集离散化算法

提出了基于断点辨别力的粗糙集离散化算法。通过分析候选断点与决策类之间的相关性,定义了候选断点对决策类的辨别力,并以此作为断点重要性的度量,实现连续属性的离散化。离散化后的决策系统不改变原有的相容性,而且能最大限度地保留有用信息。采用多组数据对此算法的性能进行了检验,并与其他算法做了对比实验。实验结果表明此算法是有效的,而且当候选断点个数增多时仍有较高的计算效率。     

动态卷积的3D点云目标检测算法

针对不规则且稀疏的点的提取特征问题,提出一种以动态卷积作为特征提取的3D点云目标检测算法.首先,以一种新型的动态卷积的方式自适应学习点的位置特征,分类出前景点与背景点,同时对提取出的前景点逐一做回归框;然后,用非极大值抑制选出分数值最好的回归框.其次,进行粒度的细化,得到修正规范的3D回归框,完成3D物体的目标检测.最后,在KITTI数据集上验证算法的有效性.结果表明：文中所提算法在汽车类、行人类、自行车类数据集上的3D点云目标检测精度更高.     

基于断点辨别力的粗糙集离散化算法

提出了基于断点辨别力的粗糙集离散化算法通过分析候选断点与决策类之间的相关性,定义了候选断点对决策类的辨别力,并以此作为断点重要性的度量,实现连续属性的离散化。离散化后的决策系统不改变原有的相容性,而且能最大限度地保留有用信息。采用多组数据对该算法的性能进行了检验,并与其它算法做了对比实验。实验结果表明该算法是有效的,而且当候选断点个数增多时仍具有较高的计算效率     

WILD：基于加权信息损耗的离散化算法

现实应用中常常涉及许多连续的数值属性,而目前许多机器学习算法则要求所处理的属性具有离散值。基于信息论的基本原理,提出一种新的有监督离散化算法WILD,它可以看成是决策树离散化算法的一种扩充,其主要改进在于考虑区间内观测值出现的频度,采用加权信息损耗作为区间离散化的测试,以克服决策树算法离散不均衡的问题。该算法非常自然地采用了自底向上的区间归并方案,可以同时归并多个相邻区间,有利于提高离散化算法的速度,实验结果表明该算法能够提高机器学习算法的精度。     

一种基于聚类的粗糙集连续属性的离散化算法

粗糙集理论是一种新的处理不精确、不完全与不相容知识的数学工具。粗糙集理论只能对离散属性进行处理，而不能处理连续属性。中针对这一缺陷，利用连续数值属性有序性的性质和统计方差理论，提出了一种基于聚类的连续属性离散化算法。运用典型数据将本算法与现有方法进行了比较分析，得到了满意的结果。     

基于粒子群模糊聚类算法的边缘检测仿真

将粒子群优化算法与模糊C-均值(FCM)聚类算法相结合,并应用于图像边缘检测,以期解决标准FCM算法在图像边缘检测中对初始值敏感及容易陷入局部极小的两大缺陷.首先,基于数学测度概念构造一个描述边缘点信息的特征向量,将灰度图像中的每一个像素点看成是一个数据样本,将该点灰度值处理后构成其边缘点信息特征向量,形成具有三维特征的数据集;然后对这个数据集应用粒子群模糊聚类算法进行分类,自适应地检测出图像的边缘点,达到提取边缘的目的.仿真实验表明,此算法具有良好的抗噪性能,能够得到较好的边缘效果,提高了边缘定位的精度.     

具有全局聚类的多属性离散化算法

为了减少连续属性离散化后有用信息的丢失和信息系统总的断点数量,提出了一种具有全局聚类效果的多属性离散化算法.算法根据各属性预插入断点对信息系统近似分类质量的影响,来确定要插入断点的属性,从全局属性范围选择最佳断点.根据Ameva统计量来判断属性中最佳断点的位置,并以保证决策表的近似分类质量作为算法的终止条件.实验采用多...