基于类属特征的多标签流形学习分类方法

多标签流形学习(multi-label manifold learning, ML$^{2}$)基于特征流形构建标签流形, 将标签逻辑值转换为实数值, 能更好地反映标签相关性, 提高分类性能. 但是, ML$^{2}$ 与多数多标签分类方法一样, 是基于数据的全部特征进行标签预测, 没有考虑不同特征对不同类别标签的鉴别能力. 因此, 提出一种基于类属特征的多标签流形学习分类(label specific feature based multi-label manifold learning, LSF-ML$^{2}$)方法. 首先, 利用标签数据优化类属特征重要度矩阵, 确定类属特征子集; 再将子集的特征流形映射到标签空间, 使标签从离散型变为数值型; 最后, 通过多输出回归实现分类. 实验结果表明, 所提方法性能优于多种多标签分类方法.     

基于图拉普拉斯的多标签类属特征选择

多标签特征选择能够有效去除冗余特征并提升分类精度, 是解决"维数灾难"问题的有效方法. 然而, 已有的多标签特征选择算法是对所有标签选择出相同的特征, 忽略了标签与特征之间的内在联系. 事实上, 每个标签都具有反映该标签特有属性的特征, 即类属特征. 提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian, LSGL)算法. 对于每个类别标签, 基于拉普拉斯映射获得数据的低维嵌入, 再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵, 接着通过分析矩阵系数确定每个标签相应的类属特征, 最后使用类属特征进行分类. 在 5 个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.     

LTSA-LE: A Local Tangent Space Alignment Label Enhancement Algorithm

According to smoothness assumption, local topological structure can be shared between feature and label manifolds. This study proposes a new algorithm based on Local Tangent Space Alignment(LTSA) to implement the label enhancement process. In general, we first establish a learning model for feature extraction in label space and use a feature extraction method of LTSA to guide the reconstruction of label manifolds. Then, we establish an unconstrained optimization model based on the optimal theory presented in this paper. The model is suitable for solving problems with a large number of sample points. Finally, the experiment results show that the algorithm can effectively improve the training speed and multilabel dataset prediction accuracy.     

结合流形结构与柔性嵌入的多标签特征选择

将线性回归模型与流形结构相结合,构成了弱线性多标签特征选择的联合框架。首先,用最小二乘损失函数来学习回归系数矩阵;其次,通过标签流形结构来学习数据特征的权重矩阵;再次,用L2,1-范数来约束回归系数矩阵和特征权重矩阵,这样既能引导稀疏性,又有利于特征选择。此外,设计并证明了具有收敛性的迭代更新算法来解决上述提出的问题。最后,所提出的方法在多个经典多标签数据集上进行了验证,实验结果表明了所提算法的有效性。     

流缺失标记环境下的多标记特征选择

在监督学习实际任务中,特征的高维性、标记的动态性和缺失性为监督学习带来严峻的挑战。为解决这些不足,提出流缺失标记环境下的多标记特征选择算法。首先,为解决缺失标记的影响,通过学习标记相关性填补不完整的标记矩阵。其次,利用稀疏学习方法为每个新到达的标记选择类属属性。然后,根据已到达标记的类属属性,通过计算得分选取一个有代表性的特征子集。最后,在11个基准数据集上进行一系列实验表明,所提算法能选择有代表性的特征子集,且分类性能较优。     

Fea2Lab:基于多标记学习的特征到标签生成模型

传统多标记学习方法通常只考虑和示例相关联的单个特征向量以及无差别地预测全体标签,从而忽视了与示例相似的其他示例及隐含的标签属性,造成输入空间特征信息较少、标签属性被忽略和对大标记空间预测效果差等问题.为解决以上问题,文章转化传统多标记学习任务为多标记学习的序列到序列任务,并由此提出新的多标记学习标签生成神经网络模型(Fea2Lab模型):通过交错的顺序排列示例和相似示例形成链式特征向量序列,来增加输入空间特征信息;通过挖掘标签属性来有差别地预测标签;通过在解码流程中使用全局标签信息,来缓解预测过程中出现的错误标签级联问题.在多个数据集上的实验结果和消融实验表明转化任务和Fea2Lab模型的合理性、可行性及有效性.     

利用增量式非线性流形学习的状态监测方法

针对传统流形学习方法难以处理大批量设备运行数据的特点,提出了一种采用增量式流形学习方法的机械设备状态监测方法.该方法首先利用局部切空间排列算法对训练样本集进行非线性维数约简,得到初始的低维流形结构,然后通过增量式学习机制对新增的时序样本点进行动态聚类.通过对压缩机喘振试验数据及滚动轴承故障数据的分析表明,该方法的计算复杂度低,可以有效地识别出隐藏在高维特征集中的非线性故障特征,因此具有良好的工程应用前景.     

基于自适应流形正则化自表示的无监督特征选择算法

针对基于流形正则化自表示(MRSR)的无监督特征选择算法直接从原始的样本空间构造相似矩阵可能会 导致重构空间中样本的相似性描述得不够准确的问题,提出了基于自适应流形正则化自表示的无监督特征选择 (AMRSR)算法。 基于自适应流形正则化自表示的无监督特征选择算法在 MRSR 算法的基础上通过对相似矩阵施 加概率最近邻约束将相似矩阵的学习嵌入到优化过程中,在重构空间中自适应地学习样本的相似性,使得在每一 次迭代中获取更加精确的样本局部几何流形结构,从而选择具有代表性且保持局部几何流形结构的特征。 最后, 在四个公开数据集上进行了大量的对比实验,通过将算法的特征选择结果用于 K-means 聚类并采取两种常见的聚 类评价指标:聚类精确度和归一化互信息评价聚类效果。 实验结果表明,AMRSR 算法与现有的一些算法相比有更 高的聚类精确度和归一化互信息,进一步表明该算法特征选择效果更好。     

基于相关性分析的多标签特征选择方法

针对现有大多数多标签特征选择算法未能有效去除特征空间冗余特征,同时也忽略了标签差异性的现状,提出一种基于相关性分析的多标签特征选择方法,利用特征之间的相关度对特征进行分组,解决了特征之间的相关性问题.根据样本所对应的标签属性对样本做一个正负类的聚类,对于正样本和负样本所构成的正类簇和负类簇单独确定其聚类个数,并计算原特征到正负类簇中各个类中心的距离,如此便产生了标签特定特征空间;将标签共享的特征空间和标签特定特征空间融合,考虑到多个标签之间的个性和关联性,解决了标签的差异性问题.实验测试表明,相较于现有的多标签特征选择算法,提出的基于相关性分析的多标签特征选择方法在各个分类指标上均有较优的表现,充分证明了该方法的有效性.     

一种新的基于自组织映射的流形学习算法

针对自组织映射(Self-Organizing Map,SOM)算法在进行流形学习时容易陷入局部极值和产生"拓扑缺陷"问题的原因,提出了一种新的基于SOM的流形学习算法:TO-SOM(Training Orderly-SOM).根据流形的局部欧氏性,TO-SOM算法从一个局部线性或近似线性的数据子集出发,按照数据的内在流形结构对其进行有序训练,可以避免局部极值、克服"拓扑缺陷".根据SOM算法的鲁棒性,TO-SOM算法在成功学习数据内在流形结构的同时,对邻域大小参数和噪声也不像ISOMAP和LLE等现有流形学习算法那样敏感,从而更容易得到实际应用.     

基于邻域维护准则的特征选择算法优化研究

应用特征选择处理多标签数据分类时"维度灾难"问题已成为重要研究方向,因此提出一种基于邻域维护准则的特征选择算法(NPFS,feature selection algorithm based on neighborhood preservation criterion)。通过近似基于特征子空间和基于标签空间的2个相似度矩阵来构建相似性维护表达式,再通过线性近似扩展相似性维护公式得到邻域关系维护公式,并计算出邻域关系维护得分(NRPS,neighborhood relationship preserving score)来评估特征子集的重要性,结合贪婪方法设计具有NRPS的多标签特征选择算法(NPFS)。仿真结果表明,对比MMIFS算法和MDMR算法,所提出的算法在平均准确率、覆盖率、汉明损失、1-错误率、排名损失5个性能指标上均有改善。     

基于转换策略的多标记学习改进算法

针对传统转换多标记学习算法较难确定最低阈值的问题,该文对传统转换策略的多标记学习算法进行改进,提出了一种基于最低阈值的学习算法(TFEL),该方法根据类别标记学习为每个类别得到一个最低阈值.当分类器将一个测试示例预测为某个类别标记的分值大于为该类别标记学得的最低阈值时,则将该类别标记添加到该测试示例的最终分类结果中.实验结果表明, TFEL方法能够得到较好的分类效果,证明了该方法的可行性和有效性.     

利用非线性流形学习的轴承早期故障特征提取方法

针对早期故障微弱特征难以提取的问题,提出了一种基于非线性流形学习的滚动轴承早期故障特征提取方法.在由时域指标和小波频带能量组成的原始特征空间中,结合局部切空间排列学习算法的特点,采用散布矩阵分类测度指标,实现了局部邻域的优化选取,从而提取出最优的敏感故障特征.通过实例应用,表明该方法有效地克服了主分量分析和非线性核主分量分析方法的不足,提取的融合特征敏感性更好,从而提高了故障模式的分类性能,实现了轴承的早期故障诊断.     

基于自表示的双图规格化特征选择聚类

特征选择得到的识别特征可以用于聚类分析,提高聚类分析的质量.受数据自表示特性和双图规则化学习的启发,提出了一种新的特征选择聚类算法.利用数据和特征的自表示特性,不仅保留了数据的流形信息,而且保留了特征空间的流形信息.此外,为了充分发挥双图模型的作用和鉴别局部聚类的效果,加入局部判别特征选择聚类,大大提高了聚类的有效性和...     

冲击故障特征提取的非线性流形学习方法

为了提取机械设备故障引发的冲击成分,提出了一种基于非线性流形学习的冲击故障特征自适应提取方法.该方法将反映故障的振动信号重构到高维相空间中,利用局部切空间排列的流形学习方法提取出隐藏其中的低维流形,并基于峭度和偏斜度指标的特点,提出了冲击波形量化的取值策略,实现了高维相空间中局部邻域参数的自适应选取,从而提取出最优的冲击故障特征.通过仿真数据的对比分析和工程应用,表明该方法能够较好地提取出冲击成分信号,与小波软阈值方法相比,提取出的冲击特征成分更完整,周期性更好.     

结合邻域信息和标记相关性的在线多标记流特征选择算法

现有大多数多标记流特征选择算法在进行特征选择时,往往忽略标记间的相关性,易导致算法预测精度的下降。为解决这一问题,提出一种结合邻域信息和标记相关性的在线多标记流特征选择算法;定义自适应邻域关系解决邻域粗糙集的粒度选择问题,将其推广到多标记学习中;利用互信息计算标记间的相关性得到标记权重;通过邻域粗糙集和标记权重评估特征和标记间的相关性,并设计特征在线重要度分析、在线相关性分析和在线冗余度分析3种指标,以实现在线评价动态候选特征。在7组多标记数据集以及5个评价指标上的实验结果表明,所提算法综合性能较优。     

A multi-label classification algorithm based on label-specific features

Aiming at the problem of multi-label classification,a multi-label classification algorithm based on label-specific features is proposed in this paper.In this algorithm,we compute feature density on the positive and negative instances set of each class firstly and then select mk features of high density from the positive and negative instances set of each class,respectively;the intersection is taken as the label-specific features of the corresponding class.Finally,multi-label data are classified on the basis of label-specific features.The algorithm can show the label-specific features of each class.Experiments show that our proposed method,the MLSF algorithm,performs significantly better than the other state-of-the-art multi-label learning approaches.     

结合类属特征及因果发现的序列优化分类器链

分类器链是利用标签间相关性实现挖掘特定对象多维标记信息的重要多标签分类方法.面向现有分类器链算法，针对各标签的基学习器均在完整特征空间中训练导致学习特征冗余，以及因标签学习顺序随机且分类器链训练过程单向无反馈导致的标签间相关信息利用不充分等问题，本文提出一种结合类属特征及因果发现的序列优化分类器链.该方法采用类内仿射传播聚类为每个基学习器构建高级结构化特征，减少冗余信息；利用条件熵准则挖掘标签间因果关系，优化学习序列提高对标签间相关信息的利用程度.在多个公开数据集的实验结果表明，序列优化分类器链有效增强了单节点学习效果以及对多标签间关联信息的利用，有效提升了多标签分类效果，实用价值高.      

基于流形弯曲度的有序自适应邻域选择算法

针对传统邻域选择方法不能根据流形样本密度和弯曲度合理选择邻域的缺点,提出了一种有序自适应的邻域选择算法.该算法从流形上曲率最小的点开始,以宽度优先的次序不断地处理每个点.对搜索到的数据点,基于流形结构的局部线性特性,利用已有的邻域信息估算其局部切空间,然后通过其邻域边在切空间的投影自适应地选择合适的邻域.实验结果表明:该算法应用于Isomap后,对不同结构的数据集嵌入结果更准确.     

构建新包空间的多示例学习方法

针对已有神经网络方法采用示例决定标记从而导致多示例学习(MIL)中包结构信息丢失的问题,提出了一种新的RK_BP多示例学习方法.在示例空间,首先采用粗糙集对其进行属性约简;然后进行K均值聚类,利用聚类点构造新包空间;在新空间中,利用误差反向传播神经网络算法进行分类.在多个测试数据集上对算法进行测试,结果表明该算法可有效解决已有神经网络方法包结构信息丢失问题,明显提高分类性能.