结合邻域信息和标记相关性的在线多标记流特征选择算法

现有大多数多标记流特征选择算法在进行特征选择时,往往忽略标记间的相关性,易导致算法预测精度的下降。为解决这一问题,提出一种结合邻域信息和标记相关性的在线多标记流特征选择算法;定义自适应邻域关系解决邻域粗糙集的粒度选择问题,将其推广到多标记学习中;利用互信息计算标记间的相关性得到标记权重;通过邻域粗糙集和标记权重评估特征和标记间的相关性,并设计特征在线重要度分析、在线相关性分析和在线冗余度分析3种指标,以实现在线评价动态候选特征。在7组多标记数据集以及5个评价指标上的实验结果表明,所提算法综合性能较优。     

基于邻域交互增益信息的多标记流特征选择算法

现有的多标记特征选择一般假设特征空间是固定已知的,然而实际应用中很多特征是需要在提取过程中实时地进行筛选.为此,提出基于邻域交互增益信息的多标记在线流特征选择算法.首先,基于多标记邻域互信息和邻域交互增益信息提出在线相关性分析与在线冗余性分析两种策略来评价特征;其次,基于邻域交互增益信息构建了在线流多标记特征选择的目标优化函数;最后,在六个多标记数据集和四个评价指标上,实验结果证明了该算法的有效性和稳定性.     

面向高维小样本数据的层次子空间ReliefF特征选择算法

高维小样本数据的特征维数远远高于样本数,因为其通常包含大量的冗余特征,ReliefF算法在处理这类数据时存在以下挑战：传统ReliefF算法无法剔除冗余特征,而现有的改进ReliefF算法大多通过启发式地计算特征与特征之间的互信息来剔除冗余特征,不适用于高维数据;通过截取与标记相关性最大的若干特征来进行分类,可能不是最优选择,因其没有考虑不同特征组合对分类性能的影响.为了解决以上问题,提出一种基于层次子空间的ReliefF特征选择算法,将原始特征集划分为具有层次结构的子空间,并利用邻域粗糙集理论来计算低层子空间的局部依赖度,能在高维小样本数据上高效率地批量剔除冗余特征.此外,为了考量不同特征组合对结果的影响,引入“局部领导力”的概念,保留部分子空间中“带队”能力较强的特征,从局部和全局的角度共同给予特征更加客观的评价.在六个微阵列基因数据集上的实验表明,与现有方法相比,提出的方法更高效,而且能保持良好的分类性能.     

基于邻域覆盖约简的层次化规则学习算法

在大数据环境下的分类学习中，随着描述样本语义信息的丰富，数据的类别空间结构存在着层次化。然而，现有分层分类算法缺乏可解释性，为此本文提出了一种基于邻域覆盖约简的层次化规则学习算法。该算法框架主要包括：（1）定义了面向层次化结构数据的邻域覆盖约简模型；（2）定义了层次邻域系统中覆盖元的依赖度；（3）提出了一种基于覆盖元依赖度的层次化规则学习前向搜索算法。最后，实验表明本文所提算法的分类性能较优且具有较好的可解释性。     

基于邻域粗糙集的多标记属性约简算法

在多标记学习中,属性约简是解决多标记数据维数灾难的一个关键技术.针对邻域粗糙集属性约简在计算正域代价较大和多标记数据中标记具有不同的强弱性问题,提出了基于邻域粗糙集的多标记属性约简算法.该算法首先利用样本在整个属性空间下到其异类样本的平均距离与到其同类样本的平均距离的差值对标记进行加权;其次,利用取整函数对样本空间进行划分,提出了一种新的多标记邻域粗糙集快速计算正域的方法;最后,根据前向贪心搜索算法进行属性约简,以获得一组新的属性排序.实验给出了5个多标记数据集在4个评价准则上的对比结果,实验结果分析表明了所提算法的有效性.     

基于模糊粗糙集的半监督影像分类算法

针对影像分类中少量标记样本问题,提出了基于模糊粗糙集的影像半监督分类算法.首先,通过模糊粗糙集对数据的粗糙性与模糊性进行建模,采用归一化的模糊互信息来度量特征与类别信息的相关性,并利用模糊上下近似度量样本的类别隶属度;然后,结合归一化的模糊互信息改进正则化框架下的特征评价方法,在谱图分析的半监督特征选择框架下实现特征优选;其次,结合近邻约束提高模糊上下近似预测样本类别的准确性,设计基于模糊粗糙集的约束自学习,选择信息量大的未标记样本更新训练样本集;最后,利用新的样本集训练分类器,完成影像分类任务.多组实验表明所提算法能够在少量标记样本的条件下有效提高影像的分类精度.     

一种多阈值邻域粗糙集的属性约简算法

δ-邻域计算是邻域粗糙集模型中操作最为频繁和复杂的。针对邻域计算,提出了利用多阈值替代单一阈值,并根据样本空间的分布,提出块集概念,证明了每个样本的邻域只存在于与之相邻的块集中。在此基础上,提出基于块集的多阈值邻域粗糙集的属性约简算法,降低了计算邻域的时间复杂性,并利用多个UCI标准数据集对该算法进行验证,结果表明,该算法行之有效。     

基于ReliefF和最大相关最小冗余的多标记特征选择

针对现有的特征选择模型未涉及特征和标记集之间的相关度，造成分类精度偏低等情况，提出了基于ReliefF和最大相关最小冗余(maximum Relevance and Minimum Redundancy, mRMR)的多标记特征选择.首先，运用互信息计算每个标记和标记集之间的相关度，使用每项相关度占其相关度之和的比例设计了标记权重，由此构建了特征和标记集间的相关度，初选与标记集相关度高的特征；其次，计算对象在特征上的距离，构建了新的特征权值更新公式，基于标记权重改进多标记ReliefF模型.然后，基于互信息和标记权重构建了最大相关性，设计了最小冗余性及其新的最大相关最小冗余评价准则，并将其应用于多标记特征选择，进一步剔除冗余特征；最后，设计了一种基于ReliefF和最大相关最小冗余的多标记特征选择算法，有效提高了多标记分类性能.在8个多标记数据集上测试所提算法的平均分类精度、覆盖率、汉明损失、1错误率和排序损失，实验结果证明了该算法的有效性.     

基于Relief属性重要度的快速约简算法

邻域粗糙集是经典Pawlak粗糙集的扩展,能够有效的处理数值型数据。因为引入了邻域粒化的概念,使用邻域粗糙集模型计算样本邻域度量属性重要度时,需要不断反复的对负域中的样本进行邻域划分操作,算法计算量很大。为此提出了一种基于Relief算法属性重要度的快速属性约简算法,降低计算邻域的算法时间复杂性。通过和现有算法运用多组UCI标准数据集进行比较,实验结果表明,在不降低分类精度的前提下,该算法能更快速地得到属性约简。     

基于邻域粗糙集的主动学习方法

主动学习是机器学习领域的重要研究方向.现有主动学习方法通常选择不确定性的或具有代表性的样本供专家打标,然后添加到已标记的数据集中供分类器学习,但没能充分利用数据的分布信息,并且在野点采集问题上有待改进.结合邻域粗糙集理论,提出了一种基于邻域粗糙集的主动学习方法(neighhbor rough set active learn-ing,NRS-AL).实验结果表明,在加州大学数据集(university of CaliforniaIrvine,UCI)上,该算法充分利用了数据的分布信息,同时结合样本的不确定性和代表性计算,处理了野点的选择,是一种能有效解决主动学习样本选择问题的算法,在accuracy,受试者工作特征(receiver operating characteristic curve,ROC)曲线下面的面积(area under curve,AUC)指标上优于文献中的主动学习算法.     

基于标记权重和mRMR的多标记特征选择

在多标记学习中，现有的最大相关最小冗余（maximum Relevance and Minimum Redundancy, mRMR）算法未充分考虑标记之间以及特征与标记之间的相关性，导致算法分类性能偏弱。文章结合标记权重改进了mRMR算法，提出一种新的多标记特征选择方法。首先，基于标准互信息计算标记与标记之间的关联度，使用每个标记与标记集关联度占所有标记与标记集之间关联度之和的比例，定义标记权重，结合关联度与标记权重构建新的最大相关性公式，进而建立新的mRMR计算公式，使用mRMR算法获取最初的候选特征子集；然后，计算特征与标记之间的标准互信息并结合标记权重，定义特征与标记集之间的相关度，从最初候选特征子集中进一步剔除冗余特征，筛选最优特征子集；最后，设计了一种标记权重和mRMR的多标记特征选择算法。在8个多标记数据集上进行仿真实验，实验结果表明该算法能够有效提高多标记数据的分类性能。     

基于矩阵策略的不完备混合型数据增量式特征选择算法

特征选择是粗糙集理论在数据挖掘等领域中一种重要的应用,如何对动态变化的信息系统进行增量式特征选择是目前粗糙集理论研究的重点。在不完备混合型信息系统中,属性集的不断增加是信息系统动态变化的一种重要形式。首先在不完备混合型信息系统中引入邻域条件熵的概念,并且利用矩阵的方法去表示邻域条件熵;然后针对属性集动态增加的情形,提出矩阵形式的邻域条件熵增量式更新,并且基于这种增量式更新机制给出了相应的增量式特征选择算法;最后,UCI数据集的实验结果表明,所提出的增量式特征选择算法比非增量式特征选择算法具有更高的特征选择性能。     

决策依赖聚类的高维数据特征选择

针对启发式特征选择和特征聚类驱动特征选择方法的不足,研究了决策依赖的特征冗余性问题,提出了一种基于邻域粗糙集的决策依赖特征聚类的高维数据特征选择方法(RDCFS).首先,依据邻域粗糙集模型,设计了一种特征联合依赖度增益度量,刻画数据特征在分类和辨识层面上的冗余性和关联性.其次,构建了一种最优特征簇结构的评估准则和特征冗...     

一种基于邻域关系和模糊决策的特征选择方法

数据特征空间的高维性使得学习过程耗费了相对较多的时间,而且可能影响分类性能.邻域粗糙集模型可以用来解决特征选择问题,但该模型未能描述现实存在的样本的模糊性,可能导致信息的丢失.因此,建立了一种新的单标记特征选择模型,采用两种不同的隶属度计算方法获得样本对等价类的模糊隶属度,将每个等价类中最小隶属度值作为隶属度阈值.然后利用邻域样本隶属度与阈值的关系重新定义邻域粗糙上、下近似,进而通过衡量决策属性对特征子集依赖度的大小进行特征选择.在七个公开的UCI数据集上进行了实验,实验结果表明,与已有的几种特征选择方法相对比,分类准确度得到了进一步提高,选择的特征数目明显减少.     

基于代表的交叉验证分类

基于代表的邻域覆盖粗糙集分类算法,在某些数据集上表现良好,数据的类别不平衡问题严重影响算法的分类精度.为尽量消除类别不平衡问题的影响,在k折交叉验证方法的基础上,针对基于代表的邻域覆盖粗糙集分类算法,提出了3种集成策略.策略1依靠k折交叉验证,获得对应的k个基分类器,所有的基分类器组成委员会对未分类样本分类;在策略1的基础上,策略2选择分类精度相对较高的基分类器组成委员会,对未分类的样本进行分类;策略3在前2种策略的基础上,利用主动学习的思想,对训练集进行扩充,得到新的分类器再对未分类样本分类.实验所用数据集为UCI标准数据集,且对k的取值做了对比实验.结果显示,3种策略均有不同程度的提升,且k取5时总能取得较好的提升效果.对于不同数据集,应选择相适应的改进策略.     

基于自适应邻域互信息与谱聚类的特征选择

借鉴邻域粗糙集处理连续型数据的优势,为解决传统谱聚类算法需要人工选取参数的问题,提出基于自适应邻域互信息与谱聚类的特征选择算法。首先,定义各对象在属性下的标准差集合与自适应邻域集,给出自适应邻域熵、平均邻域熵、联合熵、邻域条件熵、邻域互信息等不确定性度量,利用自适应邻域互信息对特征与标签的相关性进行排序。然后,结合共享近邻自适应谱聚类算法,将相关性强的特征聚到同一特征簇内,使不同特征簇内的特征强相异。最后,使用最小冗余最大相关技术设计特征选择算法。在10个数据集上选择特征个数与分类精度的实验结果,验证了所提算法的有效性。     

基于层次粒化的特征选择算法

许多实际应用问题中,特征空间存在着层次粒化结构.首先,提出基于核方法度量的层次聚类来对特征空间进行层次粒化.其次,在层次粒化后的各个子空间上,基于邻域互信息考量特征和标记间最大相关以及特征与特征间最小冗余性,在某一指定的层次上对特征进行排序.在此基础上,选择各个子空间具有代表性的部分特征,组成最终的特征子集.最后,在6个UCI数据集和2个不同基分类器上的实验表明所提算法的有效性.     

基于极大相容块的邻域粗糙集模型

对于数值型数据而言,邻域粗糙集模型是处理不确定信息的有效工具.现有的邻域粗糙集模型仅关注那些邻域中所有样本都属于同一个决策类的一致性情形,无法利用邻域中与多个决策类相交的边界样本所蕴含的信息.针对邻域粗糙集的这一局限性,将相容关系的极大相容块与邻域粗糙集相结合,选取样本邻域内的最大等价块作为最小的信息粒,通过重新定义邻域粗糙集的上下近似和属性重要度等概念,建立了一种基于极大相容块的邻域粗糙集模型.该模型可在更小的信息粒度下将原来边界样本转化成一致性样本来增大正域.运用前向贪婪策略构建了相应的属性约简算法.在七个公开的UCI数据集上的对比实验验证了提出模型的有效性.     

基于灰狼算法和案例推理的工控系统入侵检测

提出了一种基于二进制灰狼算法和邻域粗糙集的案例推理分类算法(bGWO-NRSCBR),以有效处理工控网络数据样本高维、冗余的问题。首先,将邻域粗糙集(NRS)中的依赖度概念和属性个数作为二进制灰狼优化算法(bGWO)的适应度函数,通过狼群不断更新位置寻找最小相对属性集;然后基于属性重要度对权重进行优化分配从而建立案例推理(CBR)分类模型;最后利用该模型对工控网络标准数据集进行入侵检测研究。实验结果表明,本文算法能够获得最小相对属性子集,并有效提高入侵检测算法的准确度和效率。     

基于邻域粗糙集的极速学习机算法

将基于单隐层前馈神经网络(SLFN)提出的极速学习机(ELM)算法和邻域粗糙集理论进行结合,提出基于邻域粗糙集的极速学习机算法,采用邻域粗糙集对样本集进行属性约简,去掉冗余属性,利用ELM对约简后的数据集进行学习,并对数据样本进行预测。实验表明ELM算法相比具有更高的训练精度和测试精度。