基于类属特征的多标签流形学习分类方法

多标签流形学习(multi-label manifold learning, ML$^{2}$)基于特征流形构建标签流形, 将标签逻辑值转换为实数值, 能更好地反映标签相关性, 提高分类性能. 但是, ML$^{2}$ 与多数多标签分类方法一样, 是基于数据的全部特征进行标签预测, 没有考虑不同特征对不同类别标签的鉴别能力. 因此, 提出一种基于类属特征的多标签流形学习分类(label specific feature based multi-label manifold learning, LSF-ML$^{2}$)方法. 首先, 利用标签数据优化类属特征重要度矩阵, 确定类属特征子集; 再将子集的特征流形映射到标签空间, 使标签从离散型变为数值型; 最后, 通过多输出回归实现分类. 实验结果表明, 所提方法性能优于多种多标签分类方法.     

基于标签相关性的标签特定特征多标签学习

针对标签特定特征多标签学习算法(multi-label learning with label-specific features, LIFT)未能在聚类以及分类阶段考虑标签相关性问题,提出一种基于标签相关性的标签特定特征多标签学习算法(multi-label learning with label-specific features via label correlations, LFLC).将标签空间加入特征空间进行聚类构建分类模型,采用考虑标签相关性的聚类集成技术为每个标签构造标签特定特征,使用相关性矩阵构建无向完全图并挖掘图中标签集合相关性,通过树集成表达标签间多种不同结构的强相关性.在试验部分,采用涵盖不同领域的10个数据集,以Hamming Loss、Ranking Loss、One-error、Coverage、Average Precision和macroAUC为评估指标,进行了参数敏感性分析和统计假设检验.结果表明：结合聚类集成与标签间强相关性的LFLC算法较其他对比多标签算法整体上能取得较好的效果.     

基于相关性约束矩阵分解的多标签分类方法

多标签分类是一项重要且具有挑战性的任务,对于场景分类、信息检索和网页挖掘等领域有重要意义.近年来,研究者倾向于挖掘并利用标签相关性以及实例相关性来提升多标签分类的性能,其中利用这类相关性来解决多标签分类中的标签缺失问题一直是机器学习领域的热门研究点,但现有的方法都忽略了标签和实例之间的相关性.针对标签完整和标签缺失的情况,基于矩阵分解的方式分解得到实例和标签的特征表示矩阵,在利用标签相关性和实例相关性建立正则约束的同时,首次建立实例和标签特征表示间的相关性并用以建立正则约束,进而提升算法性能.在三个真实数据集上对提出的算法进行性能验证,实验结果表明,该算法和对比算法相比,获得了最高的预测精度.     

基于聚类提升树的多标签学习

为了探索多标签数据集中每个标签所具有的特定特征,针对标签特定特征进行有效的利用,提出基于聚类提升树的多标签学习方法(multi-label leaning based on boosting clustering trees,MLL-BCT).建立MLL-BCT整体框架,通过引入聚类特征树来挖掘数据样本之间的相关性,以...     

基于组标签的多标签流特征选择算法

流标签是当前多标签学习领域中一个较新颖的挑战性问题,存在标签空间未定、标签数量不断增加甚至趋于无穷等问题.在多标签学习的特征选择中,每当有新的标签到达时标签空间都将发生改变,传统的多标签特征选择算法需重新进行特征选择,所以不适用.针对此问题,采用将流标签进行分组批量处理的方式,并考虑标签之间的相关性,提出一种新的流式多标签特征选择方法,考虑分组后每组标签内部潜在的关联结构和不同标签组之间的标签差异性,赋予每组标签不同的权重来计算每个特征与标签空间的模糊互信息.同时,结合mRMR (Max-Relevance and Min-Redundancy)的特征选择策略进行冗余特征的剔除,从而挑选最优的特征子集.该方法同时适用于固定标签空间和流式标签空间中的特征选择问题.最后,选取八个多标签基准数据集,采用四种评价指标与已有相关的多标签特征选择方法进行对比实验,实验结果证明了提出方法的有效性和高效性.     

一种基于增量式超网络的多标签分类方法

在层次多标签分类问题中,一个样本同时被赋予多个类别标签,并且这些类别标签被组织成一定的层次结构。层次多标签分类问题的主要挑战在于：①分类方法的输出必须符合标签的层次结构约束;②层次深的节点所代表的标签往往只有很少的样本与之相关,造成标签不平衡的问题。提出一种用于层次多标签分类问题的增量式超网络学习方法(hierarchical multi-label classification using incremental hypernetwork, HMC-IMLHN),通过将超网络的超边组织成相应的层次结构,使输出的预测标签能够满足标签的层次约束。此外,超网络学习方法可以利用标签之间的关联减少标签不平衡问题对分类性能的影响。实验结果表明,与其他层次多标签分类方法相比,提出的增量式超网络方法能够取得较好的分类准确性。     

基于相关性分析的多标签特征选择方法

针对现有大多数多标签特征选择算法未能有效去除特征空间冗余特征,同时也忽略了标签差异性的现状,提出一种基于相关性分析的多标签特征选择方法,利用特征之间的相关度对特征进行分组,解决了特征之间的相关性问题.根据样本所对应的标签属性对样本做一个正负类的聚类,对于正样本和负样本所构成的正类簇和负类簇单独确定其聚类个数,并计算原特征到正负类簇中各个类中心的距离,如此便产生了标签特定特征空间;将标签共享的特征空间和标签特定特征空间融合,考虑到多个标签之间的个性和关联性,解决了标签的差异性问题.实验测试表明,相较于现有的多标签特征选择算法,提出的基于相关性分析的多标签特征选择方法在各个分类指标上均有较优的表现,充分证明了该方法的有效性.     

基于k-邻域相关性的多标签分类

多标签分类是指数据可以同属于多个类的分类问题,其数据特征和标签间相关性对分类结果存在影响。因此,提出一种融合前述两种因素的多标签分类算法。将数据用核函数进行特征映射,根据训练数据的k-邻域计算得到每个标签的最大后验概率;并将其加入到对应的数据特征中。用加入最大后验概率的数据特征训练分类器。通过在经典的yeast、scene和emotion数据库上实验,证明了算法的有效性。     

基于图注意力网络的多标签图像分类模型

针对ML-GCN中标签共现嵌入维度过高影响模型分类性能和ML-GCN中没有充分发掘标签之间不对称关系的问题,提出一种基于图注意力网络的多标签图像分类模型ML-GAT;ML-GAT模型首先对高维标签语义嵌入矩阵进行降维;然后通过降维后的低维标签语义嵌入表示和标签类别共现图得到标签共现嵌入;与此同时ML-GAT将多标签原始...     

多标签小样本实例级注意力原型网络分类方法

多标签分类中,一个样本可能属于多个类别,且在小样本场景下模型性能更容易受到样本中复杂语义特征的影响。然而,目前常用的原型网络方法仅使用每类支持集样本的均值作为标签原型,导致原型中存在其他类别特征带来的噪声,弱化了原型间的差异性,影响预测效果。本文提出一种利用实例级注意力的多标签小样本原型网络分类方法,通过提高支持集中与当前标签关联度高的样本的权重,减少其他标签特征的干扰,增大标签原型之间的区分度,进而提高预测的精确率.实验表明,方法通过引入实例级注意力强化了多标签原型网络的学习能力,分类效果明显提升.     

融合标签局部相关性的标签分布学习

提出了一种融合标签局部相关性的标签分布学习(label distribution learning, LDL)算法,该算法分为3个阶段。初始预测阶段构建多层神经网络模型,将样本的原始特征作为输入、初始预测的标签分布作为输出;局部矫正阶段首先利用k-means聚类算法获得不同类所描述的局部信息,然后针对不同类计算对应的协方差矩阵,利用该矩阵来矫正初始预测的标签分布,获得每个类对应的矫正标签分布;标签融合阶段对矫正后的标签分布进行加权,再与初始预测的标签分布进行融合,得到最终的预测分布。在8个公开数据集上与9种常用的LDL算法进行对比实验,结果表明本文的算法能较好地描述标签局部相关性,在多个主流评估指标上排名靠前。     

基于图拉普拉斯的多标签类属特征选择

多标签特征选择能够有效去除冗余特征并提升分类精度,是解决“维数灾难”问题的有效方法.然而,已有的多标签特征选择算法是对所有标签选择出相同的特征,忽略了标签与特征之间的内在联系.事实上,每个标签都具有反映该标签特有属性的特征,即类属特征.提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian,LSGL)算法.对于每个类别标签,基于拉普拉斯映射获得数据的低维嵌入,再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵,接着通过分析矩阵系数确定每个标签相应的类属特征,最后使用类属特征进行分类.在5个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.     

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如 ML-GCN 通过设置单阈值将标 签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。 针对这一问题, 提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks), 通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分 类性能,也引入图像区域空间相关性。 另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数 缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在 MS-COCO 和 PASCAL VOC 数据集上与其他主 流多标签图像分类方法进行了对比实验,平均准确率分别达到了 94. 9%和 83. 7%,相较于经典 ML-GCN 模型,分 别获得了 0. 9%和 0. 8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN 都有较好的表现,验证 了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。     

基于图拉普拉斯的多标签类属特征选择

多标签特征选择能够有效去除冗余特征并提升分类精度, 是解决"维数灾难"问题的有效方法. 然而, 已有的多标签特征选择算法是对所有标签选择出相同的特征, 忽略了标签与特征之间的内在联系. 事实上, 每个标签都具有反映该标签特有属性的特征, 即类属特征. 提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian, LSGL)算法. 对于每个类别标签, 基于拉普拉斯映射获得数据的低维嵌入, 再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵, 接着通过分析矩阵系数确定每个标签相应的类属特征, 最后使用类属特征进行分类. 在 5 个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.     

基于梯度提升的多标签分类器链方法

为了确定多标签分类器链方法的链序以及挖掘出高阶标签关联性,提出了一种基于梯度提升的多标签分类器链方法.给出了GB C C整体框架,通过一种预剪枝策略对单一标签进行梯度提升,在此过程中利用标签置信度和误差评价分数确定最佳链序,并在各个标签间进行标签传递和特征传递,以挖掘高阶标签关联性.将所提出方法与4种分类器链方法(CC、ECC、OCC、EOCC)以及4种多标签分类方法(BR、HOMER、MLKNN、CLR)在bibtex、Corel5 k等12个多标签数据集上进行对比试验.结果表明:新方法在各个评价指标(micro-F1、macro-F1、Hamming loss、One-error)下不仅能够有效提升预测性能,而且能够保持分类器链方法的简单灵活性.     

基于Transformer的序列生成多标签文本分类

多标签文本分类任务存在难以从文本信息中提取标签关联的判别特征,建立标签相关性困难等问题。现有方法主要采用基于RNN的序列生成模型来建立标签高阶相关性,但缺乏对文本语义信息的充分利用。为此文章提出基于Transformer解码器的序列生成模型,使用标签嵌入作为查询,通过其多头自注意力机制建立标签之间的高阶相关性,并利用多头交叉注意力子层从文本信息中自适应地聚合标签相关的关键特征。文章的注意力权重可视化实验表明,序列生成Transformer在建立标签相关性的同时,能够更全面、更深层次地考虑文本和标签之间的语义相关性。与传统RNN类模型相比,序列生成Transformer在分类任务中兼具有效性和可解释性,并在AAPD和SLASHDOT两个数据集上取得了更优的结果。在AAPD数据集上分别取得了70.49%的Instance-F1值和52.04%的Label-F1值,比以往分类效果最好的set-RNN模型分别高1.44%和1.83%。     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于张量网络算法对二维t-J模型的研究

高温超导问题是当前凝聚态物理学研究的最重要的问题之一。本文应用基于二维强关联电子无限费米子系统的投影纠缠对(gPEPS)表示下建立的虚时间演化的张量网络算法[arXiv:0907.5520],对高温超导的相关的最小模型——二维t-J 模型进行了数值模拟研究,得出二维t-J模型在半占据状态与小于半占据状态时的基态,并最终得到了海森堡反铁磁无空穴的态与有空穴的态之间的相分离线,以及二维正方格子t-J 模型的单位格点基态能量。研究结果表明,二维t-J 模型的相分离线上临界点为Jc=0.95t和下临界点为Jc=3.45t;随后模拟J/t = 0.4,发现不同的掺杂会导致出现四个超导相：一个是由电荷密度波、自旋密度波与p波共存的超导相,一个是自旋单态的d s波超导配对与反铁磁背景下自旋三态p波超导配对超导相,一个是扩展s波配对超导相,一个是铁磁背景下p波的配对超导相。     

从希尔伯特-施密特独立性中学习的多标签半监督学习方法

基于希尔伯特-施密特独立性提出了一种新的半监督学习方法,称为最大化依赖性多标签半监督学习方法（dependence maximization multi-label semi-supervised learning method,DMMS）。该方法将样本已有标签作为约束,以最大化特征集和标签集的关联性为目标,通过求解一个线性系统为无标签数据打上标签,具有实现简单,无参（nonparameter）的特点。多个真实多标签数据库的实验表明,DMMS与最好的多标签学习方法,包括多标签近邻（multi-labelk-nearest neighbor,MLKNN）和图半监督学习方法具有类似的识别效果。