基于互信息的Fisher Score多标记特征选择

目前,Fisher Score模型在处理多标记数据时没有考虑样本和整个特征空间之间以及特征和标记之间的关系.提出一种基于互信息的Fisher Score多标记特征选择方法 .首先,在多标记决策系统中考虑整个样本空间对特征选择的影响,根据异类样本与同类样本之间的欧式距离定义权重公式,并在特征空间下对标记赋予权重衡量标记的重要程度.然后,基于互信息理论定义特征与每个标记之间的互信息来计算每个特征和每个标记之间的相关度,将特征与标记之间的相关度与该标记所占的权重相结合来定义特征和标记集之间的总相关度.将Fisher得分与总相关度结合,定义每个特征的新的Fisher得分,进而构建多标记Fisher Score模型.最后,设计了一种基于互信息的Fisher Score多标记特征选择算法.在六个多标记数据集上的实验证明,提出的算法与其他算法相比,其四种评价指标都表现良好,分类性能出色.     

基于互信息的特征子集选择

通过互信息的思想提出一个新的评价函数来评价属性之间的相关性,并结合LV算法进行特征子集选择.结果表明,该方法对分类问题效果明显.     

信息适应性分层粒化的多标签特征选择

在机器学习中,特征选择是降低高维问题复杂性的有效方式之一。大多数特征选择算法是通过设计重要特征度量方法来提出备选特征序列,再根据序列选择特征子集。在此基础上,产生了划分特征子集作为独立空间学习的特征选择方法。然而,现有的空间划分机制多是人为切割原始特征空间得到的,鲜有人考虑因度量结果差异性导致的特征层次化现象,并以此划分空间。基于此,本文利用模糊互信息和有向无环图设计了一个分层模型,并提出了基于信息适应性分层粒化的多标签特征选择算法。同时,将获取的特征子集在标准多标签数据集上与多个先进算法进行对比实验,结果证明了本文算法的有效性。     

基于互信息与判别结构互补的特征选择

提出一种基于子问题分类能力的特征选择算法,利用互信息度量特征对子问题的分类能力,根据特征的判别结构互补确定目标特征子集.该算法既会选择总分类能力强的特征,也会选择子问题分类能力强的特征.将该算法与已有的6个特征选择算法在6个公开的数据集上进行比较实验,结果表明,所提算法的性能优于其他特征选择算法.     

基于组标签的多标签流特征选择算法

流标签是当前多标签学习领域中一个较新颖的挑战性问题,存在标签空间未定、标签数量不断增加甚至趋于无穷等问题.在多标签学习的特征选择中,每当有新的标签到达时标签空间都将发生改变,传统的多标签特征选择算法需重新进行特征选择,所以不适用.针对此问题,采用将流标签进行分组批量处理的方式,并考虑标签之间的相关性,提出一种新的流式多标签特征选择方法,考虑分组后每组标签内部潜在的关联结构和不同标签组之间的标签差异性,赋予每组标签不同的权重来计算每个特征与标签空间的模糊互信息.同时,结合mRMR (Max-Relevance and Min-Redundancy)的特征选择策略进行冗余特征的剔除,从而挑选最优的特征子集.该方法同时适用于固定标签空间和流式标签空间中的特征选择问题.最后,选取八个多标签基准数据集,采用四种评价指标与已有相关的多标签特征选择方法进行对比实验,实验结果证明了提出方法的有效性和高效性.     

基于排序互信息的无监督特征选择

根据排序问题的单调先验知识,无监督学习问题中的观测属性之间也具备单调关系;否则该属性与排序无关,为冗余属性.基于排序互信息反应的两属性之间的单调关系,提出用每个属性与其他属性之间的平均互信息,来衡量每个属性与排序学习的相关程度,具有最高的平均互信息即为排序最相关的属性.     

基于归一化互信息的FCBF特征选择算法

针对高维数据中不相关特征、冗余特征等导致的分类任务计算量大、分类正确率低等问题,提出了一种基于归一化互信息的相关性快速过滤特征选择(FCBF-NMI)算法.该算法采用归一化互信息代替对称不确定性作为FCBF算法的相关性评价标准,进行特征与类别、特征与特征的相关性分析,删除不相关特征及冗余特征以获得最优特征子集.实验结果表明:FCBF-NMI算法得到的最优特征子集更合理,平均分类正确率为89.68%,所用时间平均低至2.64s.     

粗糙互信息的不平衡多标记特征选择算法

特征选择作为处理多标记学习中数据高维性的一种有效方法,得到了众多学者的研究与关注.由于部分特征仅仅与某些标记有着强相关性而与整个标记空间的相关性不强,不能简单通过与标记空间整体的相关性判断取舍.此外,多标记的分布是不平衡的.因此,根据标记密度对标记空间进行划分,并分别进行相关性的判断,同时在不同标记空间进行不同比例的采样.引入具有补的性质的粗糙熵代替传统熵的度量方式,提出了基于粗糙互信息的不平衡多标记特征选择算法,在5个公开数据集上的实验结果表明了算法的有效性.     

基于二次互信息的特征选择算法

将二次互信息(mutual information)用作模式分类问题中特征选择的准则,分析了该准则在再生核希尔伯特空间中的几何意义.在二次互信息准则基础上,提出了基于Parzen窗密度估计和后向删除策略的特征选择算法PW-QMI,同时针对大规模数据集的情况给出了基于高斯混合模型的算法GMM-QMI,以减小算法的计算复杂度.通过与相关度算法和SVM-RFE算法的实验比较,证明了该算法在特征选择问题上具有更为稳定的性能.     

基于互信息和文化基因算法的网络流量特征选择

利用文化基因框架的引导,提出一种结合了封装和过滤的混合型特征选择算法.该算法在传统的遗传算法中采用了基于互信息的局部搜索算法,全局搜索以分类器精度为适应度函数,保证得到全局最优解;局部搜索以联合互信息为评价指标,加快了寻找最优特征子集的收敛速度.实验表明,与现有算法相比,该算法在特征数量和计算复杂度上有显著改进,采用该算法的网络流量识别方法能以更少的特征获得更高的分类精度.     

第一特征选择的信息论方法

提出一种第一特征选择的信息论方法．该方法考虑了第一特征和其他特征组合共同包含的类别信息．即使在非线性分类问题中也表现出良好的第一特征选择性能．     

基于样本差异性的多标记特征选择算法

在多标记学习中,特征空间的高维性是多标记学习研究的主要问题。文章通过聚类构建由代表性样本组成新多标记数据,定义了多标记决策系统中样本的分类间隔及样本的差异性概念,在此基础上定义了特征权重,提出一种基于样本差异性的多标记特征选择算法,并用4个指标对4个多标记数据集进行实验评价,对比一些当前流行的特征选择算法,验证了本文所提算法的有效性。     

一种改进的互信息特征选取预处理算法

讨论了基于互信息的特征选取算法在文本分类中的性能问题,分析了利用这种特征选取算法存在分类精度不高的原因,认为互信息为负值的特征在分类中具有很重要的作用．在此基础上提出了一种基于互信息特征选取的改进算法,该算法加强了互信息为负值的特征在分类中的作用．实验结果表明,改进后的算法可以有效地提高文本分类精度。     

基于改进互信息的特征提取的文本分类系统

文章提出并实现了一种改进互信息的特征提取和支持朴素贝叶斯的文本分类系统,改进的互信息算法加强了负值单词的互信息值,弥补了原来互信息预处理算法的不足,从而提高了分类精度.实验结果表明本算法和系统具有较高的分类准确率。     

基于遗传算法和互信息公式结合的特征选择

提出了一种由遗传算法和改进互信息公式相结合的特征选择方法．将遗传算法中的特征评价函数换为改进互信息公式来对特征进行选择,结合了过滤式和封装式这2种特征选择方法的优点．实验部分采用另外2种特征选择算法与本文所提方法分别进行特征选择,将这3种方法所得到的特征子集用于概率神经网络、BP神经网络分类器上,通过比较对应的分类精度,检验各种特征选择方法的效果. 实验结果显示,所提出的特征选择方法能更为有效的实现特征选择,所取得的特征子集具有更好的泛化特性.     

基于互信息的模糊决策树及其增量学习

将互信息引进模糊决策树,用于确定决策树的候选分类属性,进而构建模糊决策树.通过增量学习来修正决策树分类模型,以修正分类效果,并用实验验证了该方法的有效性.     

基于邻域互信息和自组织映射的特征基因选取

针对基因表达谱数据的高维度、低样本和连续型等特点,提出一种结合邻域互信息和自组织映射进行特征基因选取的方法.首先提出一种改进的Relief算法,对基因进行排序生成候选特征集合;然后提出基于邻域互信息的自组织映射算法对生成的候选特征基因进行聚类;最后利用提出的属性重要性系数从每一类簇中选择代表基因组成特征基因子集.实验结果表明,该方法可以快速有效地选取肿瘤特征基因,能获得较好的分类结果.     

一种特征选择的信息论算法

特征选择在模式识别技术中起着非常重要的作用,用信息论的方法进行特征选择还是一个新课题.MIFS和MIFS-U是两种用信息论方法进行特征选择的近似算法,MIFS和MIFS-U算法都有一个考虑输入特征之间信息冗余的权重系数,MIFS-U算法还有一个条件限制.当条件不满足或权重系数取值不合适时,这两种算法的特征选择性能就会下降.通过研究这两种算法,借助互信息的概念提出一种新的信息论特征选择算法MIFS-D.和MIFS、MIFS-U算法相比,MIFS-D是一种更精确的算法,去掉了限制条件和权重系数.将3种算法应用于几个分类问题,结果表明MIFS-D算法具有相对更好的特征选择性能.