基于Relief属性重要度的快速约简算法

邻域粗糙集是经典Pawlak粗糙集的扩展,能够有效的处理数值型数据。因为引入了邻域粒化的概念,使用邻域粗糙集模型计算样本邻域度量属性重要度时,需要不断反复的对负域中的样本进行邻域划分操作,算法计算量很大。为此提出了一种基于Relief算法属性重要度的快速属性约简算法,降低计算邻域的算法时间复杂性。通过和现有算法运用多组UCI标准数据集进行比较,实验结果表明,在不降低分类精度的前提下,该算法能更快速地得到属性约简。     

不一致邻域决策信息系统的增量式属性约简研究

属性约简是数据挖掘、机器学习等研究领域中的一个非常重要的预处理步骤,其效率的高低会直接影响到数据挖掘、机器学习等相关任务的性能。针对目前已有的非增量式属性约简方法在处理不一致邻域信息系统动态变化时无法高效更新属性约简的问题,提出一种在不一致邻域决策信息系统中对象集发生变化时的增量式属性约简方法。首先,该文以不一致邻域决策信息系统为研究对象,结合不一致邻域的特点给出了一种新的不一致度的表示方法。在此基础上用不一致度来表征属性重要度,以属性重要度为启发式信息研究不一致邻域信息系统对象集发生变化条件下邻域类以及不一致度的更新机理。随后,以不一致度为启发信息构建了增量式属性约简算法。进一步,在UCI上选取6个数据集,通过分类精度测试实验精选出各个数据集的最佳邻域半径δ,最后,利用最佳邻域半径δ在各个数据集上执行增量式属性约简算法实验,实验结果表明该文提出的增量式属性约简算法在保持分类精度不变的前提下较其他算法更加快速和有效。     

广义邻域粗集下的集成特征选择及其选择性集成算法

针对实际模式识别系统中样本特征常具有的连续值属性、高维性、强相关性和冗余性等影响分类效果的问题,在广义邻域粗集模型下提出一种集成特征选择及其选择性集成算法.该算法先提取样本特征并利用所提出的马氏距离分布熵评估其重要度,再基于特征重要度构建广义邻域粗集模型,并在此模型上以特征重要度为启发式信息设计基于蚁群算法的属性约简算法,然后通过改变广义邻域粗集模型参数的方式获得更多具有更大差异性的基分类器,最后利用主成分分析法对产生的基分类器进行选择性集成.模拟电路故障诊断结果表明,该算法比AdaBoost等算法取得的分类精度至少提高了2.6%.     

基于极大相容块的邻域粗糙集模型

对于数值型数据而言,邻域粗糙集模型是处理不确定信息的有效工具.现有的邻域粗糙集模型仅关注那些邻域中所有样本都属于同一个决策类的一致性情形,无法利用邻域中与多个决策类相交的边界样本所蕴含的信息.针对邻域粗糙集的这一局限性,将相容关系的极大相容块与邻域粗糙集相结合,选取样本邻域内的最大等价块作为最小的信息粒,通过重新定义邻域粗糙集的上下近似和属性重要度等概念,建立了一种基于极大相容块的邻域粗糙集模型.该模型可在更小的信息粒度下将原来边界样本转化成一致性样本来增大正域.运用前向贪婪策略构建了相应的属性约简算法.在七个公开的UCI数据集上的对比实验验证了提出模型的有效性.     

一种多阈值邻域粗糙集的属性约简算法

δ-邻域计算是邻域粗糙集模型中操作最为频繁和复杂的。针对邻域计算,提出了利用多阈值替代单一阈值,并根据样本空间的分布,提出块集概念,证明了每个样本的邻域只存在于与之相邻的块集中。在此基础上,提出基于块集的多阈值邻域粗糙集的属性约简算法,降低了计算邻域的时间复杂性,并利用多个UCI标准数据集对该算法进行验证,结果表明,该算法行之有效。     

基于互信息的属性约简改进算法

针对传统粗糙集算法准确率较低,精度较差,分析大规模数据时难以获得理想结果等问题,提出了基于互信息的属性约简改进算法。为了提高算法精度,引入了对条件熵的计算;采用条件概率考量属性重要性,降低了算法的复杂度;计算时,优先计算数据相容性,优化了样本计算数量;利用多组数据集,对比不同分类器和现有算法。实验结果表明,在不增加时间复杂度前提下,改进算法能得到更好的约简规则,获取理想的约简结果。     

共现邻域关系下的属性约简研究

在邻域粗糙集的研究中,往往借助给定的半径来约束样本之间的相似性进而实现邻域信息粒化,需要注意的是,若给定的半径较大,则不同类别的样本将落入同一邻域中,易引起邻域中信息的不精确或不一致.为改善这一问题,已有学者给出了伪标记邻域的策略,然而无论是传统邻域还是伪标记邻域,都仅仅使用样本间的距离来度量样本之间的相似性,忽略了邻域信息粒内部不同样本所对应的邻域之间的结构关系.鉴于此,通过引入邻域距离度量,提出一种共现邻域的信息粒化机制,并构造了新型的共现邻域以及伪标记共现邻域粗糙集模型,在此基础上使用前向贪心搜索策略实现了所构造的两种模型下的约简求解.实验结果表明,与传统邻域关系以及伪标记邻域关系所求得的约简相比,利用共现邻域方法求得的约简能够在不降低分类器准确率的前提下产生更高的约简率.     

基于邻域粒化混合决策系统克隆选择约简算法

针对混合决策系统的属性约简问题,提出了基于邻域粗集模型的小生境克隆选择属性约简算法.采用邻域关系度量不可分辨关系,通过邻域信息粒子逼近论域空间,可以直接处理数值型属性.克隆选择约简算法的提出解决了求解全部约简的NP完全问题.论述了亲和度函数的选择,引入了小生境技术,避免了抗体的早熟收敛及算法中的参数对具体优化目标的敏感性和单一收敛性,给出了算法的具体实现.对经典数据集和UC I中4组数据约简的仿真结果证明了算法的有效性和可行性.     

一种高效的复杂信息系统增量式属性约简

文中提出一种离散和连续混合属性的复杂信息系统增量式属性约简算法.首先,将粒计算模型中的知识粒度在混合型信息系统下进行推广,提出了邻域知识粒度,并构造出基于邻域知识粒度的非增量式属性约简算法,然后在混合型信息系统下研究了邻域知识粒度随对象增加时的增量式计算,理论证明了该计算方式的高效性,最后提出了基于邻域知识粒度的混合信息系统增量式属性约简算法.UCI数据集的实验结果表明,所提出的算法在混合型信息系统中具有很高的增量式属性约简性能.     

基于信息熵的不完备信息系统属性约简算法

在现实生活中信息的不完备现象广泛存在,等价关系不一定成立,限制了经典Rough集理论在一些实际问题中的应用.从信息论角度出发引入信息熵的概念,提出了不完备信息系统中知识熵的度量方法,定义了信息观下不完备信息系统知识约简的方法,分析并讨论了与现有其他约简定义的关系,给出了一种基于信息熵的不完备信息系统属性约简算法,通过仿真实验说明了该算法对于不完备信息表知识约简是可行的.     

基于下近似分布的变精度邻域粗糙集属性约简算法

利用邻域粗糙集处理数值型数据,可以解决经典粗糙集不能直接处理数值型数据的问题,改进后的变精度邻域粗糙集可以增强抗噪声的能力。但变精度邻域粗糙集的属性约简有不同于邻域粗糙集的特性,需要考虑每个决策类的下近似分布。文中提出可以遵循平均错误率来约简属性,减少计算规模。实验证明,使用UCI数据集与其它算法进行了比较,该算法可以获得理想的结果。     

区间值序决策表的条件熵属性约简

由于数据自身的不确定性和观测条件有限，现实问题中许多数据以区间值形式呈现。其中，优势关系下的区间值信息表研究对于多属性决策问题有重要意义。目前针对该系统的属性约简方法主要是辨识矩阵法或基于互信息的增量式约简，但前者计算效率较低，而后者没有利用到决策信息。文章探讨了条件熵作为不确定性度量在该系统下的性质，通过比较不同属性缺失时信息系统的条件熵变化，引入了属性重要度概念，基于此提出启发式属性约简算法。最后，通过对比实验验证了本算法具有低冗余的特点，在约简率上比基于粗糙熵和正域不变等序信息系统的启发式约简。     

垂直划分多决策表下基于条件信息熵的隐私保护属性约简

针对垂直划分多决策表,利用半可信第三方和交换加密体制,设计了一个安全多方计算交集基数协议。利用该协议设计了安全多方计算信息熵和安全多方计算条件信息熵的解决方案,提出了一种基于条件信息熵的隐私保护属性约简算法。该算法基于粗糙集信息观的约简理论实现了分布式环境下全局属性约简的求解,使各参与方在不共享其隐私信息的前提下达到集中式属性约简的效果,分析结果表明该算法是有效可行的。     

基于鲁棒近邻粗糙逼近的属性约简算法

基于邻域粗糙集的属性约简模型既受邻域半径参数值的影响,又不能评估属性与样本对象之间的内在关系.为此,本文先提出鲁棒近邻来确认对象的邻域,计算出若干个与样本对象最近同类与最近异类对象距离的平均值,然后依据分类区分函数的定义来确定近邻类的邻域半径大小,构造了鲁棒近邻粗糙集模型.最后按照其模型,基于样本对象对属性的评价准则提出了鲁棒近邻的属性约简算法.该算法模型分别在CART,KNN和LSVM三个分类器和10个样本数据集中测试运行,实验效果表明该模型不但可以筛选得到较少的属性集,而且还可以有效提高分类精度.     

基于邻域粗糙集的极限学习机恶意DoH流量预警

在对网络安全发起攻击的恶意DoH流量数据中,存在属性特征影响恶意DoH流量攻击目标达成,使用基于邻域粗糙集的极限学习机决策分析方法建立恶意DoH流量预警模型,可为恶意DoH流量预警提供决策支持。首先运用邻域粗糙集属性约简算法对高维DoH流量特征进行降维,并得到约简后的属性重要度,然后利用极限学习机算法测试评估约简后的属性特征对数据样本的分类正确率。应用实例表明,在保证样本类别比例与原数据集一致的前提下,约简后的属性特征对样本数据具有足够高的分类准确率,验证了文中所提基于邻域粗糙集的极限学习机决策分析方法能有效地简化恶意DoH流量安全评价的复杂度。     

灰色系统中基于集对优势关系的变精度粗集模型

针对信息系统中存在灰色数据、偏好信息和噪声数据等特点,将集对分析方法运用到灰色信息系统中,对对象的联系度进行量化分析,结合阈值 确定优势关系和优势类.引入变粗度的思想,放松了等价关系中对近似集的精确定义,构建了适用于灰色系统的基于集对优势关系的变精度粗度模型。最后讨论了模型性质,改进条件熵定义,给出了以条件熵为启发信息的属性约简算法。实例分析结果证实了该模型的合理性和可行性。     

灰色系统中集对优势关系的变精度粗集模型

针对信息系统中存在灰色数据、偏好信息和噪声数据等特点,将集对分析方法运用到灰色信息系统中,对对象的联系度进行量化分析,结合阈值λ确定优势关系和优势类。引入变粗度的思想,放松了等价关系中对近似集的精确定义,构建了适用于灰色系统的基于集对优势关系的变精度粗度模型。最后讨论了模型性质,改进条件熵定义,给出了以条件熵为启发信息的属性约简算法。实例分析结果证实了该模型的合理性和可行性。     

基于邻域粗糙集的多标记属性约简算法

在多标记学习中,属性约简是解决多标记数据维数灾难的一个关键技术.针对邻域粗糙集属性约简在计算正域代价较大和多标记数据中标记具有不同的强弱性问题,提出了基于邻域粗糙集的多标记属性约简算法.该算法首先利用样本在整个属性空间下到其异类样本的平均距离与到其同类样本的平均距离的差值对标记进行加权;其次,利用取整函数对样本空间进行划分,提出了一种新的多标记邻域粗糙集快速计算正域的方法;最后,根据前向贪心搜索算法进行属性约简,以获得一组新的属性排序.实验给出了5个多标记数据集在4个评价准则上的对比结果,实验结果分析表明了所提算法的有效性.     

基于邻域覆盖约简的层次化规则学习算法

在大数据环境下的分类学习中，随着描述样本语义信息的丰富，数据的类别空间结构存在着层次化。然而，现有分层分类算法缺乏可解释性，为此本文提出了一种基于邻域覆盖约简的层次化规则学习算法。该算法框架主要包括：（1）定义了面向层次化结构数据的邻域覆盖约简模型；（2）定义了层次邻域系统中覆盖元的依赖度；（3）提出了一种基于覆盖元依赖度的层次化规则学习前向搜索算法。最后，实验表明本文所提算法的分类性能较优且具有较好的可解释性。     

基于邻域粗糙集的极速学习机算法

将基于单隐层前馈神经网络(SLFN)提出的极速学习机(ELM)算法和邻域粗糙集理论进行结合,提出基于邻域粗糙集的极速学习机算法,采用邻域粗糙集对样本集进行属性约简,去掉冗余属性,利用ELM对约简后的数据集进行学习,并对数据样本进行预测。实验表明ELM算法相比具有更高的训练精度和测试精度。