结合邻域信息和标记相关性的在线多标记流特征选择算法

现有大多数多标记流特征选择算法在进行特征选择时,往往忽略标记间的相关性,易导致算法预测精度的下降。为解决这一问题,提出一种结合邻域信息和标记相关性的在线多标记流特征选择算法;定义自适应邻域关系解决邻域粗糙集的粒度选择问题,将其推广到多标记学习中;利用互信息计算标记间的相关性得到标记权重;通过邻域粗糙集和标记权重评估特征和标记间的相关性,并设计特征在线重要度分析、在线相关性分析和在线冗余度分析3种指标,以实现在线评价动态候选特征。在7组多标记数据集以及5个评价指标上的实验结果表明,所提算法综合性能较优。     

样本稀疏表达的标记分布学习算法

针对传统标记分布学习算法借助标记的全局相关性信息,忽略仅存于部分样本范围内标记局部相关性的问题,提出了一种基于样本稀疏表达的标记分布学习算法。借助样本点的自表达性质,建立稀疏表达优化模型,挖掘样本局部相关性信息。通过设计的标记分布目标函数约束,将得到的稀疏系数引入标记空间中,并将其作为隐含的标记空间局部相关性预测值,帮助标记分布模型的训练。使用交替方向乘子法求解样本稀疏系数,使用有限内存拟牛顿法求解标记分布目标函数,通过最大熵模型生成实例的标记分布预测值。在11个真实数据集上进行实验,并与7个现有标记分布学习算法进行对比。结果表明:所提算法在不同评价指标下的55次对比实验中取得了1.52的平均排名;面部表情数据集SBU-3DFE上,以相对熵衡量的表情判别准确度较标记分布学习问题转换算法PT-SVM、适应性算法AA-kNN及专用算法LDLLC的分别提高了3.10%、2.53%、2.48%;与传统标记分布学习算法相比,所提算法能够有效挖掘并利用标记局部相关性,具有良好的标记分布预测精度,且在不同类型的真实数据集上均能表现稳定。     

粗糙互信息的不平衡多标记特征选择算法

特征选择作为处理多标记学习中数据高维性的一种有效方法,得到了众多学者的研究与关注.由于部分特征仅仅与某些标记有着强相关性而与整个标记空间的相关性不强,不能简单通过与标记空间整体的相关性判断取舍.此外,多标记的分布是不平衡的.因此,根据标记密度对标记空间进行划分,并分别进行相关性的判断,同时在不同标记空间进行不同比例的采样.引入具有补的性质的粗糙熵代替传统熵的度量方式,提出了基于粗糙互信息的不平衡多标记特征选择算法,在5个公开数据集上的实验结果表明了算法的有效性.     

一种嵌入样本流形结构与标记相关性的多标记降维算法

现有的多标记降维算法常通过学习标记相关性构建样本间的相似关系,进而提高学习系统的性能.然而,在实际应用中,样本的标记信息可能存在噪声,且部分标记信息可能缺失,因此由样本的标记信息学得的标记相关性可能不准确,无法有效挖掘样本间的相似关系.为了解决该问题,从样本的特征空间与标记空间两个方面构建样本间的相似关系.在利用标记空间学习标记相关性的同时,通过引入特征空间中的概率超图模型,提出一种嵌入样本流形结构与标记相关性的多标记降维算法.在十个多标记数据集和六种评价准则上的实验结果证明了所提算法的有效性.     

流缺失标记环境下的多标记特征选择

在监督学习实际任务中,特征的高维性、标记的动态性和缺失性为监督学习带来严峻的挑战。为解决这些不足,提出流缺失标记环境下的多标记特征选择算法。首先,为解决缺失标记的影响,通过学习标记相关性填补不完整的标记矩阵。其次,利用稀疏学习方法为每个新到达的标记选择类属属性。然后,根据已到达标记的类属属性,通过计算得分选取一个有代表性的特征子集。最后,在11个基准数据集上进行一系列实验表明,所提算法能选择有代表性的特征子集,且分类性能较优。     

基于标记权重和mRMR的多标记特征选择

在多标记学习中，现有的最大相关最小冗余（maximum Relevance and Minimum Redundancy, mRMR）算法未充分考虑标记之间以及特征与标记之间的相关性，导致算法分类性能偏弱。文章结合标记权重改进了mRMR算法，提出一种新的多标记特征选择方法。首先，基于标准互信息计算标记与标记之间的关联度，使用每个标记与标记集关联度占所有标记与标记集之间关联度之和的比例，定义标记权重，结合关联度与标记权重构建新的最大相关性公式，进而建立新的mRMR计算公式，使用mRMR算法获取最初的候选特征子集；然后，计算特征与标记之间的标准互信息并结合标记权重，定义特征与标记集之间的相关度，从最初候选特征子集中进一步剔除冗余特征，筛选最优特征子集；最后，设计了一种标记权重和mRMR的多标记特征选择算法。在8个多标记数据集上进行仿真实验，实验结果表明该算法能够有效提高多标记数据的分类性能。     

标记倾向性的粗糙互信息k特征核选择

针对多标记学习算法中特征描述粒度导致的标记倾向性问题,大多数研究者从特征与所有标记之间的关联性入手,通过求解得出若干重要特征,并由此构造相应的特征子空间.这种做法会导致有些特征与某个标记有很强的相关性,但与整个标记空间的相关性却并不大,这样的特征丢失易造成分类器精度下降.如果将整个标记空间换成部分标记空间甚至单个标记空间来计算与特征之间的关联性,并把关联性很强的标记分开进行特征选择,就会降低算法的时间开销,提高算法的效率.同时,基于互信息的多标记学习算法多数采用传统熵的方法进行特征选择,由于传统熵不具有补的性质,计算方法较为复杂.引入粗糙熵的度量方法,提出基于粗糙互信息的多标记倾向性k特征核选择算法,实验和统计假设检验都证明该算法是有效的.     

结合均值漂移的多示例多标记学习改进算法

多示例多标记学习在多语义对象处理中克服了多示例学习和多标记学习的缺点,成功应用于文本分类、图像识别标注、基因数据分析等任务中.其中基于退化策略的多示例多标记学习算法,多利用K-Medoids聚类将多示例多标记退化成单示例多标记,但此种退化方式过于简化多语义和复杂语义的对象,并未考虑示例间的相关性,导致退化过程中的信息削弱甚至丢失.针对这一问题,提出了结合均值漂移的多示例多标记学习改进算法(MultiInstance Multi-Label with Mean Shift,MIMLMS),将高斯核函数和权值加入均值漂移中.权值的加入保证了示例之间的相关性得以保留,而将多示例集合加入高斯核函数就可利用核密度估计和梯度下降法求解退化过程最优解,最终以误差平方和为分类目标函数,建立多示例多标记分类模型.算法在基准的多示例多标记测试数据集中的实验结果,验证了算法的良好分类效果及算法的有效性和可靠性.     

基于邻域交互增益信息的多标记流特征选择算法

现有的多标记特征选择一般假设特征空间是固定已知的,然而实际应用中很多特征是需要在提取过程中实时地进行筛选.为此,提出基于邻域交互增益信息的多标记在线流特征选择算法.首先,基于多标记邻域互信息和邻域交互增益信息提出在线相关性分析与在线冗余性分析两种策略来评价特征;其次,基于邻域交互增益信息构建了在线流多标记特征选择的目标优化函数;最后,在六个多标记数据集和四个评价指标上,实验结果证明了该算法的有效性和稳定性.     

基于随机标记子集的多标记数据流分类算法

提出了基于随机标记子集的多标记数据流分类算法,其基本思想是在多标记分类过程中,将原始较大的标记集随机地划分为多个较小的标记子集,并针对每个标记子集训练一个概率分类器链.在充分利用标记间依赖关系的同时,又有效地降低了概率分类器链的时间复杂度.同时,在算法中嵌入了自适应滑动窗口算法来检测概念漂移.实验结果表明,同其他算法相比,在大多数数据集合上能够更有效地预测实例的类标集合,更适合概念漂移的环境.     

基于弱监督对比学习的弱多标记特征选择

多标记特征选择已被广泛应用于医疗诊断、模式识别等领域，然而现实中的数据往往存在维数灾难以及标记大量缺失等问题，现有的弱多标记特征选择算法又普遍易受缺失标记和噪声的干扰，使算法模型难以准确地选择重要特征．针对上述问题，提出一种用于弱多标记数据集特征选择的弱监督对比学习方法，旨在缺失和含噪声标记数据集中选择优质特征，同时挖掘少量人工标注数据中潜在的类间对比模式．该方法包括三个步骤：首先，设计一种弱监督预训练策略，通过利用实例相似性以及稀疏学习方法获取每个类标记类属属性，用于恢复缺失标记；其次，引入对比学习策略来捕获少量有标记数据的对比模式来削弱噪声数据的影响；最后，选取10组多标记数据集以及四个评价指标进行实验.实验结果证明，与多个先进多标记特征选择算法相比，提出的方法分类性能更优．     

面向多标记学习的局部粗糙集

多标记学习研究的是一个对象同时具有多个标记的一类复杂问题.文本标注、视频内容标注、图像识别和蛋白质功能的发现等都属于这类任务.与单标记学习问题一样,多标记学习也遭遇到了数据维数大的挑战.针对多标记数据,目前已经设计出一些约简算法,但与单标记约简算法相比,方法数量有限且局限性大.随着大数据时代的到来,收集大量样本越来越容易,但标注收集到的全部样本不切实际.这给想要通过利用粗糙集模型来解决多标记学习问题的研究人员带来了三个挑战:数据维数更高、现有粗糙集的局限性和部分标记决策表的出现.为了解决这三个挑战,提出了面向多标记学习的局部粗糙集模型,并获得了一些有意思的性质.最后,通过利用局部粗糙集模型,设计了一个多标记的启发式约简算法,并在三个公开的多标记数据集上验证了算法的有效性.     

基于样本差异性的多标记特征选择算法

在多标记学习中,特征空间的高维性是多标记学习研究的主要问题。文章通过聚类构建由代表性样本组成新多标记数据,定义了多标记决策系统中样本的分类间隔及样本的差异性概念,在此基础上定义了特征权重,提出一种基于样本差异性的多标记特征选择算法,并用4个指标对4个多标记数据集进行实验评价,对比一些当前流行的特征选择算法,验证了本文所提算法的有效性。     

基于ReliefF和最大相关最小冗余的多标记特征选择

针对现有的特征选择模型未涉及特征和标记集之间的相关度，造成分类精度偏低等情况，提出了基于ReliefF和最大相关最小冗余(maximum Relevance and Minimum Redundancy, mRMR)的多标记特征选择.首先，运用互信息计算每个标记和标记集之间的相关度，使用每项相关度占其相关度之和的比例设计了标记权重，由此构建了特征和标记集间的相关度，初选与标记集相关度高的特征；其次，计算对象在特征上的距离，构建了新的特征权值更新公式，基于标记权重改进多标记ReliefF模型.然后，基于互信息和标记权重构建了最大相关性，设计了最小冗余性及其新的最大相关最小冗余评价准则，并将其应用于多标记特征选择，进一步剔除冗余特征；最后，设计了一种基于ReliefF和最大相关最小冗余的多标记特征选择算法，有效提高了多标记分类性能.在8个多标记数据集上测试所提算法的平均分类精度、覆盖率、汉明损失、1错误率和排序损失，实验结果证明了该算法的有效性.     

基于最小二乘法的标记分布学习

多标记学习在一定程度上解决了标记多义性问题,它主要关注实例对应的相关标记或者无关标记,而标记分布能够反映相关标记对于实例的重要程度.从重构标记分布的思想出发,利用最小二乘法建立模型,提出基于最小二乘法的标记分布学习(lsm-LDL).首先用特征重构标记,通过变换矩阵使得每一个标记能够表示为特征的一个线性组合;然后用最小二乘法建立优化模型;最后引入L_2范数规则化项,防止过拟合,保证泛化能力.在4个实际的数据集上进行实验,并与3种已有的标记分布学习算法在5种评价指标上进行比较,实验结果表明提出的lsm-LDL算法是有效的.     

基于互信息的Fisher Score多标记特征选择

目前，Fisher Score模型在处理多标记数据时没有考虑样本和整个特征空间之间以及特征和标记之间的关系.提出一种基于互信息的Fisher Score多标记特征选择方法 .首先，在多标记决策系统中考虑整个样本空间对特征选择的影响，根据异类样本与同类样本之间的欧式距离定义权重公式，并在特征空间下对标记赋予权重衡量标记的重要程度.然后，基于互信息理论定义特征与每个标记之间的互信息来计算每个特征和每个标记之间的相关度，将特征与标记之间的相关度与该标记所占的权重相结合来定义特征和标记集之间的总相关度.将Fisher得分与总相关度结合，定义每个特征的新的Fisher得分，进而构建多标记Fisher Score模型.最后，设计了一种基于互信息的Fisher Score多标记特征选择算法.在六个多标记数据集上的实验证明，提出的算法与其他算法相比，其四种评价指标都表现良好，分类性能出色.     

多标记学习的嵌入式特征选择

维数约减是数据挖掘领域的关键技术.传统的降维方法主要解决单标记学习问题.由于多标记学习问题的复杂性,多标记降维方法很少.直接应用未监督的降维方法到多标记学习中,忽略了类标信息.而通过分解多标记问题为单标记问题,应用现有的有监督降维方法到多标记学习中,忽略了类标间的关系.现有的多标记有监督的降维方法是基于依赖最大化的维数约简(multi-label dimensionalityreduction via depen dence maximization,MDDM),它是一种特征抽取的方法.目前还没有多标记的特征选择方法.因为在多标记学习中如何评估特征,是一个很有挑战性的问题.本文提出一个嵌入式的特征选择方法MEFS(multi-label embedded feature selection),其中采用预报风险准则作为特征的评价准则.在公开评测的yahoo网页分类数据集上进行了两个实验:(1)分析多标记学习的性能指标对特征评估的影响;(2)比较MEFS与MDDM,PCA(主成份分析),LPP(局部保留投影)的降维效果,实验显示MEFS的性能优于新近提出的MDDM等一些流行的多标记降维方法.     

多标记数据的特征及标记降维方法综述

多标记学习降维方法在实际应用问题中用以处理特征,标记或二者维度较高的数据集,已成为研究热点;针对目前多标记学习降维方法数量众多,种类繁杂而导致缺乏科学分类的问题,从多标记数据降维空间选择的角度,提出将多标记学习降维方法按照特征空间降维,标记空间降维和二者均降维的形式归纳为三类,其中特征空间降维又分为特征降维和特征选择两类问题,分别从独立于和依赖于彼此空间的角度对已有的40余篇文献中的典型多标记学习降维算法的研究现状进行了综述;最后,总结了多标记学习降维方法的研究现状和启示,并提出了未来进一步的研究方向。     

一种具有保序性的带权多标记学习算法

多标记学习是机器学习研究领域的热点问题之一.经典算法仅考虑了标记间的单一关系(序或权重),这使得在部分场景中多标记学习无法应用.为解决该问题,一种具有保序性的带权多标记学习算法WMLARP(Weighted Multi-label Learning Algorithm with Rank Preservation)被提出.通过在学习过程中引入"相关-无关"、"相关-相关"两种标记对来度量标记间的序和相对权重,WMLARP对基于SVM的多标记学习算法进行了扩展和优化.实验结果表明:WMLARP可充分挖掘标记间的相关性,有效提高分类模型的质量.     

一种基于核对齐的分类器链的多标记学习算法

在解决多标记分类问题的问题转换方法中,二值相关是一种常用的方法,其对于标记间相互独立的假设忽略了标记之间的相关性.多标记分类的分类器链算法通过标记信息在分类器之间的传递考虑了标记间的相关性,从而克服了二值相关算法中标记独立性问题.然而此算法中,分类器链的排序是任意指定的,不同的排序具有不同的分类结果.为了解决这个问题,引入核对齐方法对分类器进行排序并提出了两种算法,其中核对齐是用来衡量两个核函数之间一致性程度的量.一种是最大化特征空间中核函数和标记空间中理想核的凸组合的对齐值,根据每个理想核的权重进行排序,其中理想核是由每个标记定义的.另一种是直接计算核函数与每个理想核的对齐值,根据对齐值进行排序.实验结果表明,提出的基于核对齐的分类器链的多标记学习算法是有效的.