基于注意力机制归纳网络的小样本关系抽取模型

针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为：5-way 5-shot情形下准确率为(88.38±0.27)%,5-way 10-shot情形下准确率为(89.91±0.33)%, 10-way 5-shot情形下准确率为(77.92±0.44)%, 10-way 10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.     

基于改进关系网络的小样本学习

关系网络是一种端到端的小样本学习框架,可以通过少量标注样本识别新的类别.在关系网络的基础上,融合inception块和感受野块,提出了一种基于改进关系网络的小样本学习方法.用inception块替换嵌入模型的第3个卷积层,并且将感受野块添加在关系模型的起始位置,这两种卷积块分别提升了网络的特征表达能力和度量能力.在Omniglot数据集上,该算法的识别率整体高于关系网络,达到97%以上;在miniImagenet数据集上,采用5-way 1-shot和5-way 5-shot方法,算法识别率分别达到52.89%,67.15%.     

基于多角度学生子注意力网络的小样本学习

小样本图像分类的准确性取决于神经网络模型对样本数据提取图像表征的能力,为了挖掘出图像更多的细节信息,提出了一种基于多角度学生子注意力网络的小样本分类方法。首先将Conv64所提取的特征作为网络的基础特征,其次构建两个学生分支,使网络从图像位置和通道角度来提取图像的细节信息,最后融入互学习思想,促使两个学生子分支相互监督,相互学习,利用两个学生子分支网络分别对小样本任务进行分类。文中在Mini-ImageNet和Tiered-ImageNet两个数据集上验证了多角度学生子注意力网络有效性,在Mini-ImageNet数据集上,该方法5-way 1-shot准确率为56.54%,5-way 5-shot准确率为73.87%。在Tiered-ImageNet数据集上,该方法5-way 1-shot及5-way 5-shot准确率分别上升到59.62%及77.96%。实验结果表明,相较于只使用单一角度的注意力网络,基于多角度学生子注意力能够更加关注图像的全局信息,显著提高了小样本图像分类的准确性。     

基于原型网络的小样本脑电伪迹检测方法

正常脑电信号由于容易受到多种脑电伪迹的干扰而导致信噪比低，为了提高脑电信号的信噪比，使用一种基于度量的小样本学习模型来检测脑电信号中的伪迹，提出了一种基于原型网络的脑电伪迹识别模型(EEG Artifact Prototype Network，EAPNet)。该模型能够学习一个从EEG特征到目标空间的非线性映射，然后计算每个类原型表示的距离，并按此距离进行分类; 仅需较少数量的数据样本进行训练，就能实现对伪迹的准确识别。最后，在公开的脑电伪迹数据集TUAR(TUH EEG Artifact Corpus)中进行了伪迹识别实验，并将EAPNet模型与2个深度学习模型(EEGNet、全连接神经网络(FNN))及7个机器学习模型(高斯贝叶斯模型(Gaussian NB)、随机森林模型(RF)、逻辑回归模型(LR)、套索回归模型(Lasso)、支持向量机模型(SVM)、岭回归模型(Ridge)和最近邻算法(KNN))进行了对比实验。实验结果显示:(1)EAPNet模型是一种高效的伪迹检测方法:在2-way 1-shot、2-way 5-shot、2-way 10-shot任务中，模型的检测准确率分别为69.44%、77.21%、80.01%。(2)在所有对比模型中，EAPNet模型的识别准确率最高。     

基于二阶统计量的小样本学习算法研究

为了提高小样本学习的准确率和抗干扰能力,提出了一种基于二阶统计量的小样本学习模型,以CNN最后一层卷积输出的一阶特征向量为输入,通过计算协方差矩阵和二阶池化获得具有较高区分度的二阶统计量,采用奇异值(SVD)分解将二阶特征映射到低维仿射子空间并据此分类.本算法在Omniglot和minilmageNet数据集上进行了测试,实验结果表明,在minilmageNet上的5-way 5-shot模型准确率达到了73.6％,比Prototypical Networks高出5.4％,在Omniglot上的20-way 1-shot模型准确率则获得了2.4％的提升,本算法性能优于Prototypical Networks等算法.在异常值测试中,本算法也展现出比Matching Networks和Prototypical Networks算法更强的鲁棒性.     

基于元学习的语音识别探究

目前,高准确率的语音识别需要在大规模语料库上进行学习才能获得,然而大规模语料库的构建成本较高,某些语言很难采集到充足的语料,因此,基于小规模语料库的语音识别已成为目前挑战性的研究问题.元学习是模仿人类利用已有经验快速学习新知识的机器学习方法,在机器视觉单样本学习任务中表现出明显的优势,已成为新的机器学习研究热点.将元学习应用于单样本语音识别是解决基于小规模语料库语音识别这一挑战性问题的有效途径,在TIMIT和佤语数据库上,开展了基于Reptile元学习算法的单样本孤立词语音识别研究.实验结果表明,该算法能有效地提升模型收敛速度与泛化精度,从而提升了模型的学习能力,说明元学习方法有助于解决小规模语料语音识别这一挑战性问题.     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题，提出一种基于特征融合注意力的小样本语义分割算法。首先，利用共享主干网络编码支持图片和查询图片，从而获取图片的深度特征；然后，利用注意力机制获取支持特征和查询特征的强关联语义信息，从而构造任务注意力特征图；最后，提出一种多特征注意力融合模块，它能够自适应融合多种特征的深层语义信息并进行特征解码，从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验，结果表明，所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准，尤其是在更具有挑战性的COCO-20ⁱ数据集上，所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于AlexNet模型的佤语语谱图识别

针对佤语语谱图的识别无需考虑清、浊音的影响这一特征.利用傅里叶变换将佤语转换为对应的语谱图信息,将深度卷积神经网络的AlexNet模型用于佤语语谱图识别.实验表明,语谱图识别可以有效解决语音识别过程中清、浊音对实验识别结果的干扰,实验准确率达到96%.     

基于任务特征的一种小样本学习方法

现在机器学习对于数据量的依赖性过强,大量数据意味着高价的成本,如何在少量样本上取得可观的预测准确率非常关键,小样本学习就是基于该问题提出的.本研究基于MAML的模型框架,加入任务嵌入的思想.MAML是目前主流的元学习模型,它有泛化性能好、适应性强的特点.在此基础上,我们可以引入动态的特征嵌入进行调整来适应不同的任务,在输入任务后,通过预测网络中的特征层生成参数来调整任务特征嵌入.在常用的小样本学习公开数据集Omniglot和MiniImagenet上实验证明了提出的方法能够提高学习性能.     

基于改进的Cifar-10深度学习模型的金钱豹个体识别研究

将深度学习方法首次应用到金钱豹个体识别研究中,通过对山西沃成生态环境研究所2010-2016年的金钱豹影像数据进行清洗及预处理,得到训练图片540张,测试图片110张。基于Cifar-10深度学习模型,使用"Dropout"防止模型训练结果过拟合,采用多种池化方式组合训练,得到较优的金钱豹个体识别深度学习模型。最终得到的深度学习模型的识别准确率可以达到99.3%,能够有效地识别金钱豹个体。     

一种元-卷积网络和持续学习融合的洞库类目标识别方法

洞库类目标是高价值识别目标,针对洞库类目标样本数据难以获得、样本内部数据相似度较高、人工设计识别特征方法局限性较大、普通深度网络需要海量数据等问题,提出了结合元学习和深度卷积网络的元-卷积网络(MCNN),并融合持续学习理论的洞库类目标识别方法(MCNN-LLS).首先结合深度卷积网络、元学习的理论建立元-卷积网络,该网络可利用旧知识指导新知识的训练,利用小样本数据即可训练得到识别能力较高的深度洞库模型;然后融合持续学习理论,建立持续学习系统(LLS),设计专家审核模型判别深度洞库模型的识别结果,并引入潜在任务、模型异步更新等方法,达到模型持续学习、持续更新的效果.实验表明,本文方法所需样本数量少,对洞库类目标识别准确率高,且识别能力可随识别过程中新数据的积累逐步提高.     

基于MAML和改进MobileNet模型的低龄儿童语音词汇识别

语言能力测试常用于评估低龄儿童的词汇储备等能力,运用语音识别等人工智能技术能够提高语言能力测试的工作效率,从而让更多的语言发育迟缓儿童能被尽早发现并得到治疗.低龄儿童语音相较于成人语音更难识别,且缺乏相关公开数据集,为了解决语言能力测试场景下的低龄儿童语音词汇识别问题,采集72名2～3岁儿童的语音数据,对具有参数少、计算成本低等特点的MobileNet模型进行了改进,并使用模型无关的元学习方法(MAML)优化改进模型,使改进模型适用于小样本环境下的低龄儿童语音词汇识别.实验证明,相关改进措施均能提高模型的儿童语音词汇识别性能.     

多传感器数据融合的复杂人体活动识别

基于传感器的人体活动识别被广泛应用到各个领域,但利用多种异构传感器识别日常的复杂人体活动,仍然存在很多问题。对多个异构传感器数据进行数据融合时,存在兼容性问题,导致对并发复杂活动识别准确率较低。该文提出基于多传感器决策级数据融合的多任务深度学习模型。该模型利用深度学习自动地从每个传感器原始数据中进行特征提取。利用多任务学习的联合训练方法将并发复杂活动分为多个子任务,多个子任务共享网络结构,相互促进学习,提高模型的泛化性能。实验表明:该模型对周期性活动的识别准确率可达到94.6%,非周期性活动可达到93.4%,并发复杂活动可达到92.8%。该模型比3个基线模型的识别准确率平均高出8%。     

基于改进的LeNet-5卷积神经网络交通标志的识别

针对目前现有交通标志识别算法耗时长、识别率低等问题,提出了一种改进的LeNet-5卷积神经网络模型(Improved LeNet-5Convolutional Neural Network,ILN-CNN).首先,对原有的LeNet-5卷积神经网络模型构造2个相对独立的不同卷积核的子卷积网络,用于加快特征提取;其次,增加子网络中卷积核的个数,以增强网络区分不同交通标志的能力;最后,添加激活函数ReLU,增加Dropout层,以达到加快函数收敛,避免CNN过度拟合,降低神经元间互适应的效果.实验结果表明:与传统的系统结构相比,ILN-CNN对交通标志的识别准确率达到93.558%;比BP神经网络模型、支持向量机分类算法分别提高了12.206%和4.018%,并且在识别时间上具有一定的优势.     

基于深度学习的肺部医疗图像识别

肺结节作为肺癌早期诊断的重要特征,对其识别和类型判断具有重要意义.目前使用迁移学习的识别算法存在着源数据集与目标数据集差距过大问题,对于肺结节特征提取不足,导致效果不佳.故此提出了基于卷积神经网络的改进神经网络模型.将预训练的GooLeNet Inception V3网络与设计的特征融合层结合,提高网络对特征的提取能力;为确定最佳组合方式,对各组以准确率为标准进行测试.实验在LUNA16肺结节数据集上进行.进行分组测试结果表明,改进的网络准确率达88.80％,敏感度达87.15％.在识别准确率和敏感性指标上,与GooLeNet Inception V3算法相比,分别提高了2.72,2.19个百分点.在不同数据集比例下进行实验,同样达到了更优的效果,具有更好的泛化能力.可以给临床诊断提供相对客观的指标依据.     

基于小数据集的改进LeNet图像分类模型研究

将传统卷积神经网络应用于小数据集上,LeNet模型准确率低并且收敛速度慢,VggNet等模型存在过拟合问题.针对小数据集提出一种改进LeNet模型,该模型在LeNet基础上使用ReLU函数替换sigmoid来提高收敛速度,加入1*1卷积增加模型深度并利用其改变维度的特点来提高识别准确率,通过分解卷积和提出改进Dropout方法减少过拟合.结果表明:改进LeNet模型分类自制小龙虾数据集,比LeNet收敛速度快6000步并且准确率提高约15%,比VggNet和ResNet过拟合程度明显减少;将改进LeNet模型推广应用于开源数据集MNIST和Fashion-MNIST上,改进模型也有良好的表现.     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

SFSR-Age:一种基于人脸强语义的年龄识别算法

针对因光照、拍摄角度及图片质量等因素导致的经典深度学习算法难以有效提取人脸特征、人物身份识别准确率难以达到理想精度的问题,提出一种基于人脸强语义的年龄识别算法.首先,通过注意力矩阵增强人脸区域的特征权重,达到提取特征区域的目的;其次,使用级联双向长短期记忆(Bi-LSTM)网络学习时序帧之间的特征依赖关系,弥补部分特征缺失对识别精度的影响.在人脸数据集IMDB-WIKI和数据集Adience上进行测试,该算法的年龄识别准确率分别达到78.34%和77.89%.实验结果表明,相比于其他基于深度学习算法的方法,该算法在基于图片数据集的人物年龄识别任务上具有更高的准确率.     

基于数据增强的小样本图像分类方法

小样本图像分类训练样本过少,若直接用深度学习的方法对其处理会出现过拟合现象,且存在训练好的模型不能很好的泛化到测试任务上等问题.针对以上问题,提出一种基于数据增强的算法去缓解模型过拟合,并结合深度学习网络wide-ResNet28来提升模型的分类性能.此方法没有引用外部数据对当前任务进行数据扩充,而是借助基类数据的语义先验信息对新类数据的特征进行补充,在形成新的特征分布上进行数据增强.该方法在MiniImageNet和Cub 2个小样本数据集上进行实验,图像特征提取的精确度分别达到83.46%、91.61%,验证了该方法的有效性.     

一种基于深度强化学习的室内声学行为识别方法

对声学行为识别的研究目前主要依赖于特定用户的数据,且需要过滤异常值,导致较难获取可用于训练的数据集.提出了一种基于梅尔频谱图与Google AudioSet中提取的embedding的新策略,保证了模型的泛化能力,摆脱了依赖特定用户数据的限制.使用深度强化学习方法对11种常见室内行为进行识别,动态控制数据分布,解决数据不平衡问题.总体识别准确率达到87.5%,对每个行为的识别准确率均超过了83%.