基于树结构的层次性多示例多标记学习

针对多示例多标记学习中标记间树结构的问题,将多示例学习、多标记学习和树结构标记优化方法有机融合,提出了基于树结构标记的层次性多示例多标记学习方法TreeMIML. TreeMIML先将样本中的多个示例转化为单示例,然后通过多标记学习得到新样本的标记,最后通过树结构标记优化方法学习样本的最终标记.实验结果证明,TreeMIML方法在G蛋白偶联受体的生物学功能预测上获得了很好的分类性能,优于目前最好的多示例多标记学习和多标记学习方法.     

基于改进的MIMLSVM预测蛋白质功能

针对MIMLSVM算法预测精度不高的问题,设计了一种新的基于改进MIMLSVM预测蛋白质功能模型.首先,采用改进的Hausdorff方法计算包之间的空间距离,并结合K-Medoids方法将MIML(多示例多标签)问题退化为多标签问题,以提高预测精度;然后,利用SVM算法将多标签问题转化为多个独立的二分类问题,结合蛋白质数据的特点,建立蛋白质功能预测模型,并利用粒子群算法优化模型参数;最后,通过对7种生物蛋白质功能预测的实验,证明所建模型的优越性.     

基于改进半监督局部保持投影算法的故障诊断

为解决在少量标记样本的条件下故障诊断困难的问题,提出一种基于改进半监督局部保持投影(ISS-LPP)的故障诊断方法。ISS-LPP算法利用部分标记样本的标签信息调整原始特征空间中样本间的权值矩阵,并根据所有样本在特征空间的分布情况自适应的调整邻域参数,寻找数据的低维本质流形,得到原始特征空间样本数据的低维特征向量和投影转换矩阵。以得到的低维特征向量为输入,建立分类器,识别和判断故障类型。将ISS-LPP算法应用于滚动轴承的故障诊断。实验结果表明:该方法能够在标记样本较少时,提高轴承的故障诊断精度。     

结合类属特征及因果发现的序列优化分类器链

分类器链是利用标签间相关性实现挖掘特定对象多维标记信息的重要多标签分类方法.面向现有分类器链算法，针对各标签的基学习器均在完整特征空间中训练导致学习特征冗余，以及因标签学习顺序随机且分类器链训练过程单向无反馈导致的标签间相关信息利用不充分等问题，本文提出一种结合类属特征及因果发现的序列优化分类器链.该方法采用类内仿射传播聚类为每个基学习器构建高级结构化特征，减少冗余信息；利用条件熵准则挖掘标签间因果关系，优化学习序列提高对标签间相关信息的利用程度.在多个公开数据集的实验结果表明，序列优化分类器链有效增强了单节点学习效果以及对多标签间关联信息的利用，有效提升了多标签分类效果，实用价值高.      

一种嵌入样本流形结构与标记相关性的多标记降维算法

现有的多标记降维算法常通过学习标记相关性构建样本间的相似关系,进而提高学习系统的性能.然而,在实际应用中,样本的标记信息可能存在噪声,且部分标记信息可能缺失,因此由样本的标记信息学得的标记相关性可能不准确,无法有效挖掘样本间的相似关系.为了解决该问题,从样本的特征空间与标记空间两个方面构建样本间的相似关系.在利用标记空间学习标记相关性的同时,通过引入特征空间中的概率超图模型,提出一种嵌入样本流形结构与标记相关性的多标记降维算法.在十个多标记数据集和六种评价准则上的实验结果证明了所提算法的有效性.     

嵌入式多标签分类算法的优化研究

多标签分类中如何有效处理具有许多实例和大量标签的大规模数据集、补偿训练集中缺失标签以及利用未标记实例改进预测性能等问题已成为重要研究方向。提出嵌入式多标签分类（EMC）算法,首先从伪实例参数化的高斯过程（GP）中提取两组随机变换来模拟特征向量、潜在空间表示向量和标签向量之间的非线性关系映射,其次引入一组辅助变量结合专家集成（EEOE）方法补偿缺失标签,最后利用未标记实例学习随机函数的平滑映射提高预测性能。仿真结果表明,与特征识别隐式标签空间编码的多标签分类（FaLE）算法和半监督低秩映射多标签分类（SLRM）算法相比,EMC算法优化了处理大规模数据集、补偿缺失标签及利用未标记数据的能力,从而提高了类标签的预测性能,且具有良好的可扩展性,训练时间短。     

基于动态BP算法的非线性滞后系统辨识

鉴于很多实际问题都可以转化到多示例框架下求解,多示例学习越来越受到机器学习领域内学者们的关注.提出了一个基于Logistic回归模型的多示例学习算法.首先定义了一个新的似然函数来表示每个包的标签与其示例的隐含标签之间的关系,然后利用凝聚函数把该似然函数转化为一个光滑的凹函数,从而使问题可以用常用的无约束优化方法快速求解.在一些标准数据集和一个文本分类问题上的实验结果表明,所提算法要优于其他常用多示例学习算法.     

构建新包空间的多示例学习方法

针对已有神经网络方法采用示例决定标记从而导致多示例学习(MIL)中包结构信息丢失的问题,提出了一种新的RK_BP多示例学习方法.在示例空间,首先采用粗糙集对其进行属性约简;然后进行K均值聚类,利用聚类点构造新包空间;在新空间中,利用误差反向传播神经网络算法进行分类.在多个测试数据集上对算法进行测试,结果表明该算法可有效解决已有神经网络方法包结构信息丢失问题,明显提高分类性能.     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

基于图拉普拉斯的多标签类属特征选择

多标签特征选择能够有效去除冗余特征并提升分类精度, 是解决"维数灾难"问题的有效方法. 然而, 已有的多标签特征选择算法是对所有标签选择出相同的特征, 忽略了标签与特征之间的内在联系. 事实上, 每个标签都具有反映该标签特有属性的特征, 即类属特征. 提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian, LSGL)算法. 对于每个类别标签, 基于拉普拉斯映射获得数据的低维嵌入, 再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵, 接着通过分析矩阵系数确定每个标签相应的类属特征, 最后使用类属特征进行分类. 在 5 个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.     

LKLR: A Local Tangent Space-Alignment Kernel Least-Squares Regression Algorithm

In the fields of machine learning and data mining, label learning is a nascent area of research, and within this paradigm, there is much room for improving multi-label manifold learning algorithms for high-dimensional data. Thus far, researchers have experimented with mapping relationships from the feature space to the traditional logical label space(using neighbors in the label space, for example, to predict logical label vectors from the feature space's manifold structure). Here we combine the feature manifold's and label space's local topological structures to reconstruct the label manifold. To achieve this, we use a nonlinear manifold learning algorithm to transform the local topological structure from the feature space to the label space. Our algorithm adopts a regularized leastsquares kernel method to realize the reconstruction process, employing an optimization function to find the best solution. Extensive experiments show that our algorithm significantly improves multi-label manifold learning in terms of learning accuracy and time complexity.     

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如 ML-GCN 通过设置单阈值将标 签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。 针对这一问题, 提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks), 通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分 类性能,也引入图像区域空间相关性。 另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数 缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在 MS-COCO 和 PASCAL VOC 数据集上与其他主 流多标签图像分类方法进行了对比实验,平均准确率分别达到了 94. 9%和 83. 7%,相较于经典 ML-GCN 模型,分 别获得了 0. 9%和 0. 8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN 都有较好的表现,验证 了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。     

基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。     

多标签小样本实例级注意力原型网络分类方法

多标签分类中,一个样本可能属于多个类别,且在小样本场景下模型性能更容易受到样本中复杂语义特征的影响。然而,目前常用的原型网络方法仅使用每类支持集样本的均值作为标签原型,导致原型中存在其他类别特征带来的噪声,弱化了原型间的差异性,影响预测效果。本文提出一种利用实例级注意力的多标签小样本原型网络分类方法,通过提高支持集中与当前标签关联度高的样本的权重,减少其他标签特征的干扰,增大标签原型之间的区分度,进而提高预测的精确率.实验表明,方法通过引入实例级注意力强化了多标签原型网络的学习能力,分类效果明显提升.     

流缺失标记环境下的多标记特征选择

在监督学习实际任务中,特征的高维性、标记的动态性和缺失性为监督学习带来严峻的挑战。为解决这些不足,提出流缺失标记环境下的多标记特征选择算法。首先,为解决缺失标记的影响,通过学习标记相关性填补不完整的标记矩阵。其次,利用稀疏学习方法为每个新到达的标记选择类属属性。然后,根据已到达标记的类属属性,通过计算得分选取一个有代表性的特征子集。最后,在11个基准数据集上进行一系列实验表明,所提算法能选择有代表性的特征子集,且分类性能较优。     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于转换策略的多标记学习改进算法

针对传统转换多标记学习算法较难确定最低阈值的问题,该文对传统转换策略的多标记学习算法进行改进,提出了一种基于最低阈值的学习算法(TFEL),该方法根据类别标记学习为每个类别得到一个最低阈值.当分类器将一个测试示例预测为某个类别标记的分值大于为该类别标记学得的最低阈值时,则将该类别标记添加到该测试示例的最终分类结果中.实验结果表明, TFEL方法能够得到较好的分类效果,证明了该方法的可行性和有效性.     

基于类属特征的多标签流形学习分类方法

多标签流形学习(multi-label manifold learning, ML$^{2}$)基于特征流形构建标签流形, 将标签逻辑值转换为实数值, 能更好地反映标签相关性, 提高分类性能. 但是, ML$^{2}$ 与多数多标签分类方法一样, 是基于数据的全部特征进行标签预测, 没有考虑不同特征对不同类别标签的鉴别能力. 因此, 提出一种基于类属特征的多标签流形学习分类(label specific feature based multi-label manifold learning, LSF-ML$^{2}$)方法. 首先, 利用标签数据优化类属特征重要度矩阵, 确定类属特征子集; 再将子集的特征流形映射到标签空间, 使标签从离散型变为数值型; 最后, 通过多输出回归实现分类. 实验结果表明, 所提方法性能优于多种多标签分类方法.