决策代价约简求解中的交叉验证策略

属性约简是粗糙集理论中的核心问题,其目的是剔除冗余属性以找到具有较好泛化能力的属性子集.在决策粗糙集理论中,决策代价经常被作为属性约简的约束条件.但值得注意的是,虽然基于决策代价的约简求解算法可以有效地降低训练样本集上的总决策代价,但其往往忽视了测试样本集上的总决策代价.为解决这一问题,利用交叉验证的基本思想,设计了以决策代价为约束条件的一种新的属性约简求解算法.在八个UCI数据集上的实验结果表明,相较于传统基于决策代价的约简求解算法,所提算法不仅能有效地降低训练集合和测试集合的总决策代价,而且找出的属性子集亦可以带来更好的分类性能.     

融合正域及边界质量的实域属性约简方法

基于邻域关系提出一种综合考虑正域和边界数据的属性约简方法.该方法利用邻域关系对数据进行离散化处理,通过定义基于邻域的正域属性重要度、边界属性重要度和邻域综合属性重要度概念,设计一种新的启发式属性简约算法.该算法从空约简集出发,利用邻域属性重要度启发式搜索属性空间以扩展约简属性集,理论分析和实验表明该算法有效可行.     

基于决策表的粗糙集属性约简算法改进及应用

针对决策属性集合中只存在两个决策集合的情况,为简化决策属性的表达和计算复杂度,提高约简效率,提出一种改进粗糙集决策表的属性约简算法。该算法以条件属性对决策属性的支持度为基础,采用新的约简规则,基于可分辨矩阵的启发式算法,根据属性重要度改进属性约简算法。以高新技术企业智力资本测量指标体系为例,得到了高新技术企业智力资本的最小约简集。结果表明,该约简算法能够得到一个完备的最小约简集,并能显著提高求解约简集的效率。     

一种基于改进邻域粗糙集中属性重要度的快速属性约简方法

冗余属性过多是影响分类算法运行效率和准确率的重要因素。为了提高分类算法的运行效率和分类准确率,提出一种基于改进邻域粗糙集属性重要度的快速属性约简算法。首先,提出一种改进的KNN属性重要度;其次,利用改进过属性重要度的邻域粗糙集对原始数据的条件属性进行重要度排序,利用排序结果对原始数据进行属性约简,得到约简后的特征子集;最后,将约简后的特征子集输入分类模型进行分类预测。实验仿真结果表明,与改进前的基于邻域粗糙集的属性约简算法相比,所提出的方法具有较高预测精度和较快运行速度。     

一种基于决策表约简的集覆盖问题的近似解法

集覆盖问题和决策信息表的约简问题分别是优化领域和信息处理领域重要的研究课题,但目前的研究大都针对这两个问题分别独立展开.通过分析集覆盖问题的解结构和决策信息表的布尔约简结构,将两者联系起来探讨.首先,给出一个集覆盖问题的布尔矩阵表示,并通过添加决策属性,对集覆盖中的集合进行分类,进一步诱导出一个以该布尔矩阵为条件属性值的决策信息表.其次,分析了决策表和集覆盖的辨识集之间的关系,证明了集覆盖问题的一个局部最优解恰好是该决策表的一个属性约简,即,求解集覆盖问题可等价地转化为求解决策表的属性约简问题.然后,利用决策表中的条件熵来度量集覆盖中一个集合在集族中的相对重要度,并构造了基于条件熵的集覆盖问题的近似算法.最后,运用实例验证了该算法的有效性和可行性,并将新算法与几个传统集覆盖算法进行了对比.实验结果表明,新算法在求得满意解上具有一定的优势.     

基于粗糙集理论的特征提取方法

约简是粗集理论的重要概念,由定义计算约简是一个典型的NP问题且由于约简的不唯一,往往最后获得的属性集并非是最好的属性。本文针对Rought set理论的属性约简进行了研究。研究了通过可辨识矩阵求得属性约简集,利用Rought set与灰色理论相结合,提出一种属性约简的启发式算法。实验证明可以获得约简集合中最有利的属性。     

基于Relief属性重要度的快速约简算法

邻域粗糙集是经典Pawlak粗糙集的扩展,能够有效的处理数值型数据。因为引入了邻域粒化的概念,使用邻域粗糙集模型计算样本邻域度量属性重要度时,需要不断反复的对负域中的样本进行邻域划分操作,算法计算量很大。为此提出了一种基于Relief算法属性重要度的快速属性约简算法,降低计算邻域的算法时间复杂性。通过和现有算法运用多组UCI标准数据集进行比较,实验结果表明,在不降低分类精度的前提下,该算法能更快速地得到属性约简。     

基于邻域粗糙集的多标记属性约简算法

在多标记学习中,属性约简是解决多标记数据维数灾难的一个关键技术.针对邻域粗糙集属性约简在计算正域代价较大和多标记数据中标记具有不同的强弱性问题,提出了基于邻域粗糙集的多标记属性约简算法.该算法首先利用样本在整个属性空间下到其异类样本的平均距离与到其同类样本的平均距离的差值对标记进行加权;其次,利用取整函数对样本空间进行划分,提出了一种新的多标记邻域粗糙集快速计算正域的方法;最后,根据前向贪心搜索算法进行属性约简,以获得一组新的属性排序.实验给出了5个多标记数据集在4个评价准则上的对比结果,实验结果分析表明了所提算法的有效性.     

不一致邻域决策信息系统的增量式属性约简研究

属性约简是数据挖掘、机器学习等研究领域中的一个非常重要的预处理步骤,其效率的高低会直接影响到数据挖掘、机器学习等相关任务的性能。针对目前已有的非增量式属性约简方法在处理不一致邻域信息系统动态变化时无法高效更新属性约简的问题,提出一种在不一致邻域决策信息系统中对象集发生变化时的增量式属性约简方法。首先,该文以不一致邻域决策信息系统为研究对象,结合不一致邻域的特点给出了一种新的不一致度的表示方法。在此基础上用不一致度来表征属性重要度,以属性重要度为启发式信息研究不一致邻域信息系统对象集发生变化条件下邻域类以及不一致度的更新机理。随后,以不一致度为启发信息构建了增量式属性约简算法。进一步,在UCI上选取6个数据集,通过分类精度测试实验精选出各个数据集的最佳邻域半径δ,最后,利用最佳邻域半径δ在各个数据集上执行增量式属性约简算法实验,实验结果表明该文提出的增量式属性约简算法在保持分类精度不变的前提下较其他算法更加快速和有效。     

基于粗糙集理论的规则提取算法

粗糙集理论的主要思想是在保持分类能力不变的前提下,通过属性约简和值约简,提取决策规则。本文主要是提出了利用隶属度函数进行值约简的同时提取决策规则的算法。利用该算法可在不求得核值表的情况下,直接找到各规则的最小条件属性集,获得决策表的所有决策规则。     

广义邻域粗集下的集成特征选择及其选择性集成算法

针对实际模式识别系统中样本特征常具有的连续值属性、高维性、强相关性和冗余性等影响分类效果的问题,在广义邻域粗集模型下提出一种集成特征选择及其选择性集成算法.该算法先提取样本特征并利用所提出的马氏距离分布熵评估其重要度,再基于特征重要度构建广义邻域粗集模型,并在此模型上以特征重要度为启发式信息设计基于蚁群算法的属性约简算法,然后通过改变广义邻域粗集模型参数的方式获得更多具有更大差异性的基分类器,最后利用主成分分析法对产生的基分类器进行选择性集成.模拟电路故障诊断结果表明,该算法比AdaBoost等算法取得的分类精度至少提高了2.6%.     

基于属性相容度和重要度的粗糙集属性约简混合算法研究

针对粗糙集属性约简算法中时间效率较低的问题,结合属性相容度模型和属性重要度的模型,提出一种混合相容度和重要度的粗糙集属性约简算法。该算法利用属性的相容度模型,快速地从众多属性中将核集筛选出来,作为基本核集;然后通过属性的重要度模型对基本核集进行补充和完善,作为约简后的最终核集,以确保核集的完整性。实验结果表明,在保证约简结果完整性的基础上,该混合模型算法,大大提高了时间效率,降低了算法的时间复杂度。     

基于属性相容度和重要度的粗糙集

针对粗糙集属性约简算法中时间效率较低的问题,结合属性相容度模型和属性重要度的模型,提出一种混合相容度和重要度的粗糙集属性约简算法.该算法利用属性的相容度模型,快速地从众多属性中将核集筛选出来,作为基本核集;然后通过属性的重要度模型对基本核集进行补充和完善,作为约简后的最终核集,以确保核集的完整性.实验结果表明,在保证约简结果完整性的基础上,该混合模型算法,大大提高了时间效率,降低了算法的时间复杂度.     

一种基于主成分分析的稀疏数据模式分类隐私保护算法

 模式分类过程涉及到对原始训练样本的学习,容易导致用户隐私的泄露。为了避免模式分类过程中的隐私泄露,同时又不影响模式分类算法的性能,提出一种基于主成分分析（PCA）的模式分类隐私保护算法。该算法利用PCA 提取原始训练数据的主成分,并将原始训练样本集合转化为主成分的新样本集合,然后利用新样本集合进行分类学习。选用Adult 数据集和KDDCUP 99 数据集进行仿真实验,并采用正确率和召回率进行性能评价,结果表明,该隐私保护算法通过PCA 提取原始数据特征属性的主成分,可避免原始属性的泄露,同时PCA 在一定程度上可实现去噪,从而使分类器的分类性能优于原始数据集的分类性能。与已有算法比较,该隐私保护算法具有更好的模式分类精度和隐私保护性能。     

基于粗糙集理论的多标记数据互补决策约简加速算法

互补决策约简是一种多标记数据属性约简方法,当数据规模较大时,其启发式算法的计算耗时较大。基于粗糙集理论,对互补决策约简启发式算法的加速算法进行了研究。当粒度由粗变细时,在逐步去掉正域的数据集上,首先研究互补决策约简中属性外部重要度的保序性质;基于此,通过逐步缩小数据规模来降低计算约简的耗时,提出了互补决策约简加速算法。加速算法不仅减少了属性约简的计算时间,而且能够保持原始算法的约简结果。     

基于论域离散度的属性约简算法

提出了一种基于论域离散度的适应度函数,在前向贪心搜索策略下,以该适应度函数评估条件属性的重要性,进而求取邻域粗糙集的约简。该算法与3个比较流行的属性约简算法进行对比实验,在12组UCI数据集上进行验证。实验结果表明,与另外3种算法相比,在不降低分类效果的情况下,本文算法在时间消耗和稳定性上具有较为明显的优势。     

基于粒度的加速求解约简策略

前向贪心搜索策略在约简求解的过程中,需要遍历所有的候选属性,从而确保在每轮迭代时能够选择出最优的属性。在属性数量急剧增加时,利用前向贪心搜索进行约简求解会显式地带来较大的时间消耗。鉴于此,在前向贪心搜索的基础上,依据属性约简过程和粒度的变化关系,提出了基于粒度的加速求解约简策略。该策略的核心思想是以粒度大小为标准,剔除对应着较粗粒化结果的属性,从而压缩候选属性的搜索空间,达到提升约简求解效率的目的。在12组UCI数据集上,采用3种不确定性度量,实验结果表明,相较于前向贪心搜索,基于粒度的加速求解约简策略不仅能够显著地降低约简求解的时间消耗,而且所得到的约简依然具备较好的分类性能,验证了所提算法的有效性。     

类别近似质量约束下的属性约简方法研究

利用近似质量作为度量标准,借助启发式算法求解约简,其本质是根据近似质量的变化情况来找出冗余属性,但这一方法其并未考虑每一个决策类别所对应的下近似集合在约简前后的变化程度.鉴于此,提出了一种基于类别近似质量的属性约简策略,其目标是使得每一个类别的近似质量都满足约简的约束条件.借助邻域粗糙集模型,在UCI数据集上将传统约简策略与类别近似质量约简策略进行了对比分析,实验结果不仅验证了类别近似质量约简策略的有效性,而且表明这种策略依然能够满足传统约简的约束条件.     

基于双支持向量机的大样本分类算法

针对支持向量机(Support Vector Machine,SVM)处理大规模样本分类的学习效率降低问题,提出两阶段学习的支持向量机算法。该方法首先在正负类分别进行无监督聚类,提取各个聚类质心组成约简训练集,进行初次SVM训练;然后,根据初次训练结果选取边界样本集,参与第二次SVM训练。在UCI数据集上的实验结果表明,所提方法在保持分类泛化性能的同时,提高了模型的训练速度。     

基于邻域粗糙集的极速学习机算法

将基于单隐层前馈神经网络(SLFN)提出的极速学习机(ELM)算法和邻域粗糙集理论进行结合,提出基于邻域粗糙集的极速学习机算法,采用邻域粗糙集对样本集进行属性约简,去掉冗余属性,利用ELM对约简后的数据集进行学习,并对数据样本进行预测。实验表明ELM算法相比具有更高的训练精度和测试精度。