基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

基于深度学习的端到端乐谱音符识别

光学乐谱识别是音乐信息检索中一项重要技术,音符识别是乐谱识别及其关键的部分.针对目前乐谱图像音符识别精度低、步骤冗杂等问题,设计了基于深度学习的端到端音符识别模型.该模型利用深度卷积神经网络,以整张乐谱图像为输入,直接输出音符的时值和音高.在数据预处理上,通过解析Music XML文件获得模型训练所需的乐谱图像和对应的标签数据,标签数据是由音符音高、音符时值和音符坐标组成的向量,因此模型通过训练来学习标签向量将音符识别任务转化为检测、分类任务.之后添加噪声、随机裁剪等数据增强方法来增加数据的多样性,使得训练出的模型更加鲁棒;在模型设计上,基于darknet53基础网络和特征融合技术,设计端到端的目标检测模型来识别音符.用深度神经网络darknet53提取乐谱图像特征图,让该特征图上的音符有足够大的感受野,之后将神经网络上层特征图和该特征图进行拼接,完成特征融合使得音符有更明显的特征纹理,从而让模型能够检测到音符这类小物体.该模型采用多任务学习,同时学习音高、时值的分类任务和音符坐标的回归任务,提高了模型的泛化能力.最后在Muse Score生成的测试集上对该模型进行测试,音符识别精度高,可以达到0.96的时值准确率和0.98的音高准确率.     

基于标签相关性的卷积神经网络多标签分类

多标签分类问题已广泛应用于文本分类、图像分类、生物基因功能分类、视频语义注释等.相比较于单标签分类,多标签分类更符合真实世界的客观规律.然而,已有的卷积神经网络多标签分类算法没有探究标签之间相关性,为此提出了一种基于标签相关性卷积神经网络多标签分类,即计算标签之间共现相似度方法,同时为了解决卷积神经网络预测精度高,训练时间长的缺点,引入了迁移学习的方法加快了模型的训练时间.实验表明,提出的算法优于传统的多标签分类算法.     

基于弱监督深度学习的图像检索技术研究

哈希算法结合卷积神经网络是一种常用的有效图像检索方法,这种有监督的学习方式要求大量人工标注的标签,耗费巨额的人力成本,且这种标签具有较强的专家制定性,在图像深层次语义的挖掘上能力有限。针对这一问题,该文提出了基于弱监督(Weakly-supervised)深度卷积神经网络的哈希函数框架,该框架包括弱监督的预训练和有监督的微调两个阶段。通过利用弱监督标签信息来学习语义感知哈希函数,将标签表示为语义词向量。根据语义间的相似与否来训练网络,设计的目标函数可以使语义相似的图像间的汉明距离较小,语义不相似的汉明距离相对较远。实验结果表明,该文提出的图像检索方法与目前先进的图像检索方法相比,精度提高了2%～6%。     

基于深度学习与狮群SVM算法的遥感场景分类

针对高分辨遥感图像样本量小,以及传统优化支持向量机(SVM)算法易陷入局部最优解、寻优速度慢等问题,提出一种基于深度迁移学习与狮群优化SVM(LSO-SVM)算法对遥感图像场景进行分类.首先,通过自适应对比度增强图像后利用颜色聚合向量提取图像颜色特征;其次,利用3种预训练网络分别提取图像的迁移学习深度特征;最后,将手工提取的图像特征与用3种预训练网络获取的特征使用系列特征融合方法进行融合,并将其输入LSO-SVM进行图像场景分类.结果表明,该算法解决了小样本情况下深度学习较难训练及传统优化SVM算法易陷入局部最优解、寻优速度慢的问题.在80%的训练条件下,数据集UCM Land-Use和RSSCN7的分类精度分别达到99.52%和98.57%.     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

基于深度学习的任意形状场景文字识别

场景文字识别的一个具有挑战性的方面是处理具有扭曲或不规则布局的文字.尤其是侧视文字和曲线文字在自然场景中较为常见,且难以识别.本文提出了一个带有灵活矫正功能的注意力增强网络,将其用于任意形状场景文字识别.此网络由基于卷积神经网络的文字矫正网络和基于注意力增强的识别网络两部分组成.矫正网络自适应地将输入图像中的文字进行矫正,降低识别难度,使基于注意力增强的序列识别网络直接根据矫正后的图像预测字符序列.整个模型可以进行端到端的训练,训练只需要图像和相应的文字真实标签.在各种公开数据集上进行了广泛的实验,包括SVT、ICDAR 2003和CUTE80等数据集,验证了此网络具有优异的性能.     

采用无监督学习算法与卷积的图像分类模型

为了提高图像分类精度,降低训练复杂度,提出一种采用无监督学习算法与卷积构造的图像分类模型.首先,从输入无标签图像中随机抽取大小相同的图像块构成数据集,进行预处理.其次,将预处理后的图像块通过两次K-means聚类算法提取字典,并采用离散卷积操作提取最终图像特征.最后,采用Softmax分类器对提取的图像特征进行分类,得出准确率.将该模型与卷积神经网络(CNN),Dropout CNN网络进行比较,结果表明:在对大规模高维图像分类上,文中模型具有分类精确度高、简单、训练参数少、适应度高等优点.     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络(convolutional neural network, CNN)模型待训参数量过大、多层网络导致特征和梯度消失等问题,提出一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明：改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于图嵌入和区域注意力的多标签文本分类

针对传统多标签文本分类模型未考虑标签之间以及标签与文本各个部分之间的相关性、低频标签预测效果不佳的问题,使用图嵌入和区域注意力技术来挖掘标签之间以及标签和文本之间的关系,提出了编码器-图嵌入和区域注意力机制-解码器模型来处理多标签分类任务.采用Bi-LSTM作为编码器,使用图嵌入技术生成标签嵌入矩阵;利用区域注意力机制结合单词级别与区域级别的信息,使得模型在预测每个标签时考虑文本不同部分的信息,挖掘了文本与标签之间的潜在关联;使用循环神经网络和多层感知机作为解码器结合随机策略梯度算法,减少训练损失,改善多标签分类效果.在AAPD和RCV1-V2多标签文本分类数据集上进行试验,根据数据集特征设置相关参数,以micro-F1和Hamming Loss作为评价指标,对比所提出模型与LP、卷积神经网络等9个经典模型.结果表明,所提出模型能够根据高频标签预测出低频标签,在2个数据集上的micro-F1和Hamming Loss均优于经典模型.     

基于局部监督深度混合模型的变电站巡检机器人道路场景识别

近年来,在各种图像分类和处理中,卷积神经网络(convolutional neural networks, CNN)取得了明显的优势。通过CNN中的全连通顶层和中间层等,可有效获取具有全局语义信息的深度特征以及包含局部语义信息的卷积特征,以此来提升图像识别的效果。为了进一步改进变电站巡检机器人对自身所处环境的理解能力,特别是在依赖于道路场景中整体和细节图像相结合来进行特征识别的条件下,文章提出了一种基于局部监督深度混合模型的识别网络对变电站巡检机器人道路场景进行识别,以实现对卷积特征的有效应用。首先该识别网络可以有效地避免卷积特征捕获到的局部对象在高度压缩的全连接层表示中被明显消除的问题;其次在局部卷积监督层的辅助下,通过直接将标签信息传播到卷积层,实现对图像的局部结构进行增强以补充场景图像中无序的中层语义信息;同时添加空间卷积操作来处理由于遮挡所造成的信息丢失。实验结果表明,局部监督深度混合模型网络在明显提高推理速度的同时,能够保持较高的识别精度,并在实际变电站场景的识别中表现出优秀的性能。     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

基于生成对抗网络的高频算法及其回测研究

在金融工程的分类任务中,由于金融数据噪音大、信息比率低的特点,传统深度算法的有监督训练模式往往过于依赖数据本身的绝对标签从而进一步放大了噪音对最终结果的影响.生成对抗网络(generative adversarial network, GAN)能够利用深度网络挖取数据特征,增强数据,减少噪音影响,应用于金融序列分析时效果优异.这里将GAN模型用于高频交易,具体做法为:将数据按波动性分为有标签数据与无标签数据两类,利用生成网络G与判别网络D互相对抗训练来深度学习这些数据的内在特性,训练好后的D网络根据有标签数据信息亦可对真实数据进行类别判别,得到涨跌分类模型,进而给出量化交易策略.基于期货主力合约数据进行了实证分析,结果表明,基于GAN训练下的LSTM模型显著优于有监督训练下的LSTM等深度模型和Logistics回归模型.     

基于BP神经网络的遥感影像分类方法

为了消除传统的遥感影像分类所带来的模糊性和不确定性,采用BP神经网络进行遥感影像分类.利用MatLab软件构建BP网络遥感影像分类算法,通过对BP网络算法进行改进,采用动量-自适应学习速率调整算法克服了网络训练速度慢、不易收敛到全局最优等缺点.对一幅全色遥感图像通过300次训练后,输出能真实反映地类的影像图.其分类总精度为86.67%,Kappa系数为0.82,分类精度能够满足遥感图像分类的需要.     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于半监督生成对抗网络的通信信号调制识别算法

针对小样本条件下通信信号识别混淆的问题,提出了一种基于半监督生成式对抗网络的调制识别算法.首先结合半监督学习思想利用少量标签数据和大量未标签数据训练网络;其次在输出层添加辅助分类器进行结果判定,针对性设计了目标函数和损失函数,以满足网络生成虚假数据和实现信号分类的目的;最后使用不同的激活函数并用反卷积和Dropout代替池化操作,有效降低了算法复杂度并加快网络收敛速度.仿真实验表明:该算法适应性强、计算量小,较传统算法识别准确率提升了6％ ～13％,有效实现了小样本条件下的调制样式识别.     

基于深度信念卷积神经网络的图像识别与分类

针对基于卷积神经网络的图像识别采用随机初始化网络权值的方法易收敛到局部最优值的问题,该文提出了一种结合无监督和有监督学习的网络权值预训练算法。融合零成分分析白化与深度信念网络预学习得到的特征,对卷积神经网络权值进行初始化;通过卷积、池化等操作,对训练样本进行特征提取并使用全连接网络对特征进行分类;计算分类损失函数并优化网络参数。在公开图像数据库中进行了大量实验,与公开最佳算法比较,该算法在MNIST中的识别错误率降低了0.1%,在Caltech101中的分类准确率提升了0.56%,验证了该算法优于现有算法。     

一种改进变换网络的域自适应语义分割网络

语义标签的人工标注成本高,耗时长,基于域自适应的非监督语义分割是非常必要的.针对间隙大的场景或像素易限制模型训练、降低语义分割精度的问题,通过分阶段训练和可解释蒙版消除大间隙图片和像素的干扰,提出了一种改进变换网络的域自适应语义分割网络(DA-SSN).首先,针对部分源图到目标图的域间隙大、网络模型训练困难的问题,利用训练损失阈值划分大间隙的源图数据集,提出一种分阶段的变换网络训练策略,在保证小间隙源图的语义对齐基础上,提高了大间隙源图的变换质量.然后,为了进一步缩小源图中部分像素与目标图域间间隙,提出一种可解释蒙版.通过预测每个像素在源图域和目标图域之间的间隙缩小置信度,忽略对应像素的训练损失,以消除大间隙像素对其他像素语义对齐的影响,使得模型训练只关注高置信度像素的域间隙.结果表明,所提算法相比于原始的域自适应语义分割网络的分割精度更高.与其他流行算法的结果相比,所提方法获得了更高质量的语义对齐,表明了所提方法精度高的优势.     

改进神经网络与遥感图像的识别

BP网络的分类方法被广泛应用于遥感图像分类,但它存在局部最小值、隐含层节点数及训练速度等问题.高阶神经网络从一定意义上克服了这些缺点,取得比较好的分类效果.本文提出了对高阶神经网络算法的改进,将高阶神经网络作进一步扩展,使其特征数的局限减少,并结合自适应方法,使分类细化,且速度不会影响太大.本文简单介绍了BP网络和高阶神经网络各自的特点;详细描述了改进后的算法,提出对原有的学习方法速度的提高办法;最后分析了应用此算法识别图像的优势和灵活性.     

基于上下文信息的自适应场景分类算法

本文针对场景分类中存在的目标物以及之间的相互关系错综复杂,图像的拍摄角度、光照强度不同,造成的场景内容难以辨识等问题,提出了一种利用上下文关联信息进行自适应判别的分类算法。通过检测图像中目标物及其相互之间的上下文关系,利用该信息对图像的细节纹理特征进行增强,最后利用支持向量机(SVM)进行训练和测试,从而实现场景分类。在三个公共标准图像集上的测试实验结果表明,都具有较好的分类效果。