基于粗集理论的数据离散化技术研究

信息系统连续型属性值的离散化对决策规则或决策树的学习具有非常重要的意义,它能够提高系统对样本的聚类能力,增强系统抗数据噪音的能力,减少机器学习算法的时间和空间开销,提高其学习精度。粗集是有效的数据离散化工具。对基于粗集理论的数据离散化方法进行了深入研究,分析其特征,评述其研究进展,并通过仿真实验研究了几种典型的启发式离散化算法的性能。其结果对发展新的离散化技术或为特定应用选择合适算法都有参考价值。     

基于粗集理论的数据离散化新算法

连续属性值的离散化一直是机器学习领域中殛待解决的关键问题之一，他对于提高后继学习算法的运行速度、降低算法的实际空间要求和时间消耗、提高学习结果的聚类能力等都具有极其重要的意义。本文首先分析了基于粗集模型的数据离散化方法的特点和基本思路，研究了候选断点重要性的衡量方式，在此基础上提出两种新的从候选集合中最终确定离散化断点的启发式算法。这两种算法考虑并体现了粗集理论的基本特点和优点，选择的断点都能够保证信息系统的分辨关系，并能够取得较理想的离散化结果。     

基于启发式信息熵的粗集数值属性离散化算法

在一致性假设前提下,以数据集的统计性质作为启发式知识,从候选离散点集中选择离散点,根据数据集的期望值和方差来确定搜索最优离散点的区域,提出一种新的基于信息熵粗集数值属性离散化算法,并采用UCI国际标准数据集来验证新算法.新算法与已报道的算法所得到的离散断点集完全一致,决策表的离散化结果也相同,但时间代价不同,新算法比其计算效率提高40%～50%.     

基于模糊C均值聚类的粗集理论连续属性的离散化新算法

讨论模糊C均值聚类算法在决策表条件属性对决策属性的相容程度的指导下对粗集理论中的连续属性进行离散化的一种新算法。该算法充分考虑属性之间的相关性，将所有连续属性转化为矩阵同时处理，能明显提高传统动态层次聚类算法离散化过程的速度。算法测试结果表明，新算法能较好地保留有效属性，提高离散化精度。     

基于模糊C均值聚类的粗集理论连续属性的离散化新算法

讨论模糊C均值聚类算法在决策表条件属性对决策属性的相容程度的指导下对粗集理论中的连续属性进行离散化的一种新算法。该算法充分考虑属性之间的相关性，将所有连续属性转化为矩阵同时处理，能明显提高传统动态层次聚类算法离散化过程的速度。算法测试结果表明，新算法能较好地保留有效属性，提高离散化精度。     

网络入侵异常检测中数据预处理的研究

在网络入侵异常检测中,数据预处理是一个非常重要的步骤,数据预处理的好坏直接影响后续检测的准确性．本文针对基于层次聚类的网络入侵异常检测中两个问题,在数据预处理阶段做出改进,一是属性冗余和属性权重问题,运用粗集理论对各个属性赋予权重并进行属性约减,二是粗集理论中连续数据离散化问题,提出了针对数据特点的自适应离散化算法,该算法是根据样本属性值分布来决定离散间隔,最后针对两个改进方法进行了实验,并与采用现有离散化方法进行了对比,实验结果证明了该算法的有效性和准确性．     

基于遗传算法和变精度粗糙集的离散化算法

目前常用的离散算法多为单属性离散化算法.利用该类算法对多维连续属性进行离散化时,逐次对单个属性进行离散化,割裂了多维属性之间的关系.基于此提出了一种基于遗传算法和变精度粗糙集的多属性离散化算法.该算法基于变精度粗糙集所具有的较好数据分类容错和抗噪能力,通过变精度粗糙集近似分类精度建立遗传算法适宜度评价函数,并利用遗传算法在多维连续属性候选断点集上寻找最优断点子集.基于UCI数据集比较了所提算法与多种常用的离散化算法的差异,实验结果表明,该算法可以获得相对较好的离散化效果.     

基于模糊C均值聚类的粗集理论连续属性的离散化新算法

讨论模糊C均值聚类算法在决策表条件属性对决策属性的相容程度的指导下对粗集理论中的连续属性进行离散化的一种新算法.该算法充分考虑属性之间的相关性,将所有连续属性转化为矩阵同时处理,能明显提高传统动态层次聚类算法离散化过程的速度.算法测试结果表明,新算法能较好地保留有效属性,提高离散化精度.     

数据挖掘中并行离散化数据准备优化

在海量数据挖掘中,针对元数据的离散化数据准备处理能有效提高数据挖掘效率.本文提出了一种并行比较并获得最优离散化的数据准备算法(AOA),针对不同数据集,先进行数据集的特性检测以获得数据集分布特性,按照分布特性进行数据集的异常值检测和剔除,并行完成与分布特性适配的离散化方法处理,通过比较不同离散化方法的熵、方差指数、稳定性参数的最小欧氏距离,根据三个参数自动化比选,获得最优离散化的预处理成果.仿真表明,对不同样本数据库进行关联规则挖掘结果中,比较四种固定的离散化数据预处理方法,在使用AOA数据准备算法并行比选出最优的离散化来数据预处理后,在不同最小支持度阈值情况下,挖掘得到关联规则数都更少,因此效率得到提高.     

基于改进[FK(W][BG(][BHDWG1,WK*2/3W][ZB(][BHDWG*3,WKW] χ [ZB)W][BG)W][FK)] 2统计的数据离散化算法

在基于χ2统计独立性的离散化算法中,自由度与期望频数的选取直接影响χ2计算的准确性,从而影响离散化的性能.为此,提出了一种基于改进χ2统计的数据离散化算法,提高了基于统计独立性离散化算法的质量.首先,分析了χ2函数中自由度选取的不足,给出了自由度选取的修正方案;其次,根据数据类分布等特点,提出了期望频数的改进方案,克服了不同数据集赋予相同期望频数的缺陷,提高了χ2计算的准确性.实验结果表明,改进的方法显著提高了C4.5决策树与Naive贝叶斯分类器的学习精度.     

基于粗糙集理论的两类离散化方法研究

连续属性离散化是数据预处理的关键步骤之一,在实际应用中往往通过高效的启发式算法来计算离散化结果.对基于辅助矩阵和信息熵的两类启发式离散化算法进行实验研究,分别选取每类算法中的5种典型方法,通过系列实验,对两类算法的性能进行对比研究,结果表明:辅助矩阵类算法具有相对较高的样本识别能力,但算法复杂度较高,运行时间更长,较适...     

粗糙集理论应用中的离散化方法综述

粗糙集理论是一种有效处理不确定、不精确、不完备信息的数学工具。但是传统的粗糙集理论只能对数据库中的离散属性进行处理,而绝大多数现实的数据库既包含了离散属性,又包含了连续属性。针对粗糙集理论的这些缺陷,综述了几种比较常用的离散化算法,并在此基础上,引申出一些启发式离散算法。最后指出,现有的离散化算法都会或多或少地损失部分信息,目前还没有确定的评判准则评论哪一种方法更好、更合适;离散化方法的一个有效思想就是“最低限度地减少信息丢失、保持数据分类能力和使最终得到的离散化最小（分类器最小）”的原则。     

基于粗糙集的增强学习型分类器

为了提高分类的精确度,提出一种基于粗糙集理论的增强学习型分类器。采用分割算法对训练数据集中连续的属性进行离散处理;利用粗糙集理论获取约简集,从中选择一个能提供最高分类精确度的约简。对于不同的测试数据,由于离散属性值的变化,相同的约简可能达不到最高的分类精确度。为克服此问题,改进了Q学习算法,使其全面系统地解决离散化和特征选择问题,因此不同的属性可以学习到最佳的分割值,使相应的约简产生最大分类精确度。实验结果表明．该分类器能达到98％的精确度．与其它分类器相比．表现出较好的性能。     

基于一种改进相似度的扩展粗糙集模型

应用经典粗糙集理论处理连续值属性决策表问题时,对连续值属性进行离散化会造成信息损失.本文在分析已有相似度不足的基础上提出一种改进的相似度,建立基于改进相似度的扩展粗糙集模型,并提出一种基于重要度的约简算法.     

煤矿瓦斯预测专家系统中基于粗集的知识获取方法

提出了基于粗集理论的煤矿瓦斯预测专家系统知识获取方法.该方法首先建立瓦斯数据与瓦斯突出强度之间关系的预测样本集;然后运用粗糙集的连续属性离散化、属性约简以及规则提取算法,从大量的预测样本集中自动获取预测知识,并将预测知识存储于专家系统知识库中;最后基于推理机,实现煤矿瓦斯突出的实时预测.实例分析表明,粗糙集方法在煤矿瓦斯突出预测专家系统知识获取中的有效性和实用性.     

一种基于系统不确定性的主动式知识学习算法

主动式知识学习方法不依赖于先验领域知识，其学习过程受信息系统的内在属性控制，所产生的知识系统 能够更客观地表达信息系统的潜在特征和规律。系统不确定性能够有效地控制主动式知识学习过程。基于粗糙 集理论，提出一种系统不确定性度量方式，结合Skowron算法，设计出一种基于系统不确定性的主动式决策规则知 识学习算法。仿真实验结果表明该算法能够更好地适应系统的不确定性，其综合性能明显优于其他同类算法。     

一种基于系统不确定性的主动式知识学习算法

主动式知识学习方法不依赖于先验领域知识，其学习过程受信息系统的内在属性控制，所产生的知识系统能够更客观地表达信息系统的潜在特征和规律。系统不确定性能够有效地控制主动式知识学习过程。基于粗糙集理论，提出一种系统不确定性度量方式，结合Skowron算法，设计出一种基于系统不确定性的主动式决策规则知识学习算法。仿真实验结果表明该算法能够更好地适应系统的不确定性，其综合性能明显优于其他同类算法。