基于图注意力网络的多标签图像分类模型

针对ML-GCN中标签共现嵌入维度过高影响模型分类性能和ML-GCN中没有充分发掘标签之间不对称关系的问题,提出一种基于图注意力网络的多标签图像分类模型ML-GAT;ML-GAT模型首先对高维标签语义嵌入矩阵进行降维;然后通过降维后的低维标签语义嵌入表示和标签类别共现图得到标签共现嵌入;与此同时ML-GAT将多标签原始...     

基于多角度学生子注意力网络的小样本学习

小样本图像分类的准确性取决于神经网络模型对样本数据提取图像表征的能力,为了挖掘出图像更多的细节信息,提出了一种基于多角度学生子注意力网络的小样本分类方法。首先将Conv64所提取的特征作为网络的基础特征,其次构建两个学生分支,使网络从图像位置和通道角度来提取图像的细节信息,最后融入互学习思想,促使两个学生子分支相互监督,相互学习,利用两个学生子分支网络分别对小样本任务进行分类。文中在Mini-ImageNet和Tiered-ImageNet两个数据集上验证了多角度学生子注意力网络有效性,在Mini-ImageNet数据集上,该方法5-way 1-shot准确率为56.54%,5-way 5-shot准确率为73.87%。在Tiered-ImageNet数据集上,该方法5-way 1-shot及5-way 5-shot准确率分别上升到59.62%及77.96%。实验结果表明,相较于只使用单一角度的注意力网络,基于多角度学生子注意力能够更加关注图像的全局信息,显著提高了小样本图像分类的准确性。     

融合样本相似性的弱监督多标签分类

针对面向实际应用场景中数据标签易残缺导致有监督多标签分类方法可用训练数据量减少，未能利用大量标签缺失数据中蕴含的样本特征空间关联知识以最大化判别间隔，限制多标签分类效果等问题，本文提出一种融合样本相似性的弱监督多标签分类方法.该方法利用标签相关性和样本相似性恢复标签以提高数据利用率，并将标签恢复嵌入到训练过程中以便挖掘标签相关性，通过近端加速梯度法进行参数优化，建立弱监督学习场景的多标签分类模型.在真实数据集上的实验结果表明，该方法能够利用样本相似性有效提升模型在标签残缺时的分类能力，实用价值大.      

融合标签嵌入和知识感知的多标签文本分类方法

多标签文本分类是自然语言处理领域的重要任务之一.文本的标签语义信息与文本的文档内容有紧密的联系,而传统的多标签文本分类方法存在忽略标签的语义信息以及标签的语义信息不足等问题.针对以上问题,提出一种融合标签嵌入和知识感知的多标签文本分类方法 LEKA (Label Embedding and Knowledge-Aware).该方法依赖于文档文本以及相应的多个标签,通过标签嵌入来获取与标签相关的注意力.考虑标签的语义信息,建立标签与文档内容的联系,将标签应用到文本分类中.另外,为了增强标签的语义信息,通过知识图谱嵌入引入外部感知知识,对标签文本进行语义扩展.在AAPD和RCV1-V2公开数据集上与其他分类模型进行了对比,实验结果表明,与LCFA (Label Combination and Fusion of Attentions)模型相比,LEKA的F1分别提高了3.5%和2.1%.     

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如 ML-GCN 通过设置单阈值将标 签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。 针对这一问题, 提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks), 通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分 类性能,也引入图像区域空间相关性。 另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数 缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在 MS-COCO 和 PASCAL VOC 数据集上与其他主 流多标签图像分类方法进行了对比实验,平均准确率分别达到了 94. 9%和 83. 7%,相较于经典 ML-GCN 模型,分 别获得了 0. 9%和 0. 8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN 都有较好的表现,验证 了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。     

具有局部和全局注意力机制的图注意力网络学习单样本组学数据表征

针对生物组学数据中基因数目远大于样本数目的高维“大p小n”问题,提出一种具有局部和全局注意力机制的图注意力网络GATOr.该模型首先在组学数据上利用Pearson相关系数计算特征之间的相关性,构建组学数据的单样本网络;然后提出一种结合局部和全局注意力机制的图注意力网络从单样本网络中学习基于图的组学特征表示,从而将组学数据的高维特性转化为低维表示.实验结果表明,GATOr与其他传统分类算法相比,在分类任务的准确率及其他指标上均取得了较优性能.     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的强关联语义信息,从而构造任务注意力特征图;最后,提出一种多特征注意力融合模块,它能够自适应融合多种特征的深层语义信息并进行特征解码,从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验,结果表明,所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准,尤其是在更具有挑战性的COCO-20ⁱ数据集上,所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

一种基于增量式超网络的多标签分类方法

在层次多标签分类问题中,一个样本同时被赋予多个类别标签,并且这些类别标签被组织成一定的层次结构。层次多标签分类问题的主要挑战在于：①分类方法的输出必须符合标签的层次结构约束;②层次深的节点所代表的标签往往只有很少的样本与之相关,造成标签不平衡的问题。提出一种用于层次多标签分类问题的增量式超网络学习方法(hierarchical multi-label classification using incremental hypernetwork, HMC-IMLHN),通过将超网络的超边组织成相应的层次结构,使输出的预测标签能够满足标签的层次约束。此外,超网络学习方法可以利用标签之间的关联减少标签不平衡问题对分类性能的影响。实验结果表明,与其他层次多标签分类方法相比,提出的增量式超网络方法能够取得较好的分类准确性。     

基于张量网络的多标签学习方法

利用关系分类模型,将标签之间的相关性以及特征对标签相关性的影响形式化为分数模型,通过要求模型能够区分真实数据和噪声数据的得分建立了基于张量网络的多标签分类模型.多个数据集上的实验表明,相较于传统多标签学习方法和已有考察标签相关性的多标签学习方法,本文方法在平均精确度和错误率等多标签评价指标上提升近一倍,且拥有更低的计算成本.     

基于原型网络的小样本脑电伪迹检测方法

正常脑电信号由于容易受到多种脑电伪迹的干扰而导致信噪比低,为了提高脑电信号的信噪比,使用一种基于度量的小样本学习模型来检测脑电信号中的伪迹,提出了一种基于原型网络的脑电伪迹识别模型(EEG Artifact Prototype Network,EAPNet)。该模型能够学习一个从EEG特征到目标空间的非线性映射,然后计算每个类原型表示的距离,并按此距离进行分类; 仅需较少数量的数据样本进行训练,就能实现对伪迹的准确识别。最后,在公开的脑电伪迹数据集TUAR(TUH EEG Artifact Corpus)中进行了伪迹识别实验,并将EAPNet模型与2个深度学习模型(EEGNet、全连接神经网络(FNN))及7个机器学习模型(高斯贝叶斯模型(Gaussian NB)、随机森林模型(RF)、逻辑回归模型(LR)、套索回归模型(Lasso)、支持向量机模型(SVM)、岭回归模型(Ridge)和最近邻算法(KNN))进行了对比实验。实验结果显示:(1)EAPNet模型是一种高效的伪迹检测方法:在2-way 1-shot、2-way 5-shot、2-way 10-shot任务中,模型的检测准确率分别为69.44%、77.21%、80.01%。(2)在所有对比模型中,EAPNet模型的识别准确率最高。     

基于对比学习方法的小样本学习

针对目前小样本学习中存在的问题,设计一种新的网络结构及其训练方法以改进小样本学习.该网络在特征嵌入部分采用卷积网络并结合多尺度滑动池化方法以增强特征提取.网络主体结构为类孪生网络,以便于通过样本间的对比从小样本数据中学到语义.网络的训练方法采用嵌套层次的参数更新以保证收敛的稳定性.在两个经典小样本学习数据集上与常用的视觉模型和前沿小样本学习方法进行了对比实验,实验结果表明,该方法在小样本学习的精度上有显著提升,可作为样本不充足情况下的解决方案.     

基于联合学习的少样本多类别情感分类方法

对于多类别的细粒度情感分类任务,目前主流的少样本学习方法不能取得较好的性能。针对这一问题,提出一种基于联合学习的少样本多类别情感分类方法。采用基于替换词检测任务的少样本学习方式,将回归和分类的替换词检测模板以及标签描述词同时添加至输入语句,从而将细粒度情感分类任务同时建模为分类问题和回归问题。在此基础上,设计了不同的融合方法进行联合学习。实验结果表明,与主流少样本学习方法相比,该方法在F1-Score和正确率上都取得更优的结果。     

关注新型网络学习工具Blog

1997年b log从美国出现,到2002年在中国快速发展,目前已经在众多行业和领域产生广泛影响,B log社区和文化如雨后春笋般地正在形成。本文对B log的概念、相关术语及其作为学习工具的功能进行分析和讨论。     

Learning Label Correlations for Multi-Label Online Passive Aggressive Classification Algorithm

Label correlations are an essential technique for data mining that solves the possible correlation problem between different labels in multi-label classification. Although this technique is widely used in multi-label classification problems, batch learning deals with most issues, which consumes a lot of time and space resources. Unlike traditional batch learning methods, online learning represents a promising family of efficient and scalable machine learning algorithms for large-scale datasets. ...     

Fea2Lab:基于多标记学习的特征到标签生成模型

传统多标记学习方法通常只考虑和示例相关联的单个特征向量以及无差别地预测全体标签,从而忽视了与示例相似的其他示例及隐含的标签属性,造成输入空间特征信息较少、标签属性被忽略和对大标记空间预测效果差等问题.为解决以上问题,文章转化传统多标记学习任务为多标记学习的序列到序列任务,并由此提出新的多标记学习标签生成神经网络模型(Fea2Lab模型):通过交错的顺序排列示例和相似示例形成链式特征向量序列,来增加输入空间特征信息;通过挖掘标签属性来有差别地预测标签;通过在解码流程中使用全局标签信息,来缓解预测过程中出现的错误标签级联问题.在多个数据集上的实验结果和消融实验表明转化任务和Fea2Lab模型的合理性、可行性及有效性.     

原型义项排列法中原型义的确立原则

《牛津大学英语词典》采用新型的原型义项排列法。但是,一些原型义的设置不合理,缺乏统一标准。因此,探讨原型义的确立原则和具体操作方法是很有必要的。基于原型范畴理论,原型义的确立应遵循经验原则和扩展原则,具体可采用问卷统计和分析词义间语义理据的方法,从而使原型义的确立有一个可依据的标准。     

非均衡数据下基于注意力网络和代价敏感学习的轨面状态识别

准确识别轨面状态,可为列车牵引/制动性能提升提供关键依据。重点针对传统代价敏感学习应用在非均衡轨面状态识别中存在的同类别样本重要性不同和多数类精度下降等问题,提出一种基于注意力网络和代价敏感学习的轨面状态识别方法。该法首先利用迁移学习思想将均衡数据集的特征迁移到非均衡轨面状态数据集,减轻少数类样本误分类影响;其次在骨干网络ResNet18中引入卷积注意力机制模块,增强网络对目标区域的特征学习能力和全局特征信息的感知性能,调整优化网络权重参数;最后构造依据轨面状态样本重要性大小的自适应加权平衡损失函数,降低决策边界对困难样本中多数类的过拟合,获得更加平滑的决策边界。非均衡数据下的实验结果表明,在3种非均衡比下,所提方法的准确率和召回率分别达到96.00%、90.67%、86.33%,与目前常用的方法Focal相比,分别提升了7.00%、2.34%、3.00%。此外,该方法在提高少数类召回率的同时可有效维持多数类的召回率,并且降低了网络训练时间成本。     

基于注意力机制非对称残差网络和迁移学习的玉米病害图像识别

为实现玉米病害图像快速、准确识别,提出了一种基于非对称注意力机制残差网络(asymmetric convolution attention resnet,ACA-Resnet)的图像检测模型.在残差网络的基础上,通过引入非对称卷积结构减少参数量,加快模型训练速度,同时引入注意力机制,改善模型的表达能力,提高检测准确率....     

成人注意缺陷多动障碍额叶网络异质性

神经影像学研究表明注意缺陷/多动障碍(ADHD)与额叶-纹状体网络功能异质有密切关系。利用静息态功能磁共振数据,探讨成人ADHD组和健康对照组的功能连通性(FC)是否有差异。获取成人ADHD组(N=20)和健康对照组(N=20)的血氧水平依赖(BOLD)信号,以腹内侧前额叶皮质(vmPFC)为感兴趣区进行功能相关分析,使用皮尔森相关系数为衡量功能相关强度的指标。经两样本统计分析,成人注意缺陷多动障碍组左侧眶额叶、右后外侧前额叶皮层、角回与vmPFC正相关性较对照组均存在显著的增强(p<0.01,经Alphasim);成人注意缺陷多动障碍组较对照组右侧背外额中回与vmPFC负相关性有所下降(p<0.01,经Alphasim)。进一步证明了前额叶与其他脑区的连通性存在差异,成人ADHD前额叶默认网络存在功能失调。     

Paying Attention to the Cultural Differences in English Learning

The unawareness of cultural differences makes some English learners frustrated from time to time when they are studying English or reading western literatures.This paper studies some typical cultural gaps between Chinese culture and western cultures and expresses its hope of instructing English learning.