语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

基于轻量级DenseNet和ZigBee的指纹识别方法

针对传统身份识别方法识别准确率低、模型复杂且运算速度慢等问题,提出一种新的基于轻量级密集连接卷积神经网络(DenseNet)和紫蜂协议(ZigBee)的指纹识别方法.首先,构建指纹识别系统的整体模型,并对该模型进行适当的裁剪以缩减模型复杂度.其次,通过筛选指纹图像、增强有效指纹以及扩充增强后的数据等操作,对采集到的ZigBee协议指纹信息进行预处理.然后,以传统深度残差网络的基本思想为依据,通过前馈的方式改变层间的连接关系并构建轻量级DenseNet.最后,以相同的样本数据为基础分别对轻量级DenseNet模型、普通DenseNet模型和3种传统基于机器学习的身份识别算法模型进行训练.试验结果表明:所提出的基于轻量级DenseNet模型的识别准确度最高,为98.24%,且该模型的运行速度最快,与普通DenseNet模型相比,其模型复杂度降低了94%以上.     

基于微调优化的深度学习在语音识别中的应用

针对深度学习模型在对小样本进行训练时会出现过拟合现象,提出随机退出优化方法和随机下降连接优化方法.这两种方法针对深度学习模型的微调阶段进行改进,最大限度减少由于训练数据量较少使得深层网络模型训练出现过拟合现象,并且使权值的更新过程更具有独立性,而不是依赖于有固定关系的隐层节点间的作用,同时可以降低识别错误率.对自建孤立语音词汇库进行了训练和识别,结果表明,在深度信念网络的基础上引入随机退出优化方法和随机下降连接优化方法可以提升识别率,缓解过拟合现象.     

密集池化连接和短语注意力下的文本分类算法

为了解决在文本分类中神经网络训练时产生的梯度消失、特征信息丢失以及注意力机制短语维度组合不匹配的问题,提出一种基于密集池化连接和短语注意力机制的文本分类算法.首先,通过密集池化连接中的残差网络部分进行特征提取,可有效缓解梯度消失问题;其次,通过池化层复用重要特征,改善特征信息丢失问题;最后,通过改进常规注意力机制,提出短语注意力机制,可灵活得到不同阶短语之间的联系,解决常规注意力机制短语维度不匹配问题.结果表明,该模型在对比模型中取得了最好的效果,在相同的新闻数据集中准确率可达92.7％,同时还对3个对比模型的收敛性和分类准确性进行分析,可见改进后的模型可以有效缓解梯度消失,并且解决短语维度组合不匹配问题,从而提高了分类准确性.     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

改进YOLOv3的桥梁表观病害检测识别

针对基于目标检测方法的桥梁表观病害检测存在检测精度低、误检率和漏检率高的问题,提出一种改进YOLOv3的高准确率桥梁表观病害检测识别方法。为实现局部特征和全局特征有效融合,在YOLOv3的检测层中添加固定分块大小的池化模块,并在YOLOv3的特征提取网络中引入了DenseNet密集型连接网络结构以增强桥梁病害特征在网络中的传播和利用效率,提高检测效率,采用数据增强技术来扩充样本图像以解决现有桥梁病害数据集样本数量不足的问题。实验结果表明,改进后的YOLOv3在桥梁表观病害检测上的平均准确率比原YOLOv3提高了3.0%,且模型训练时间减少了33.2%,同时降低了对桥梁表观病害检测的误检率和漏检率。     

基于Ghost DenseNet SE的恶意代码检测方法

针对现有恶意代码检测模型对恶意代码及其变种识别率不高,且参数量过大这一问题,将轻量化卷积Ghost、密集连接网络DenseNet与通道域注意力机制SE相结合,提出一种基于Ghost-DenseNet-SE的恶意代码家族检测模型.该模型为压缩模型体积、提升识别速率,将DenseNet中的标准卷积层替换为轻量化Ghost模块;并引入通道域注意力机制,赋予特征通道不同权重,用以提取恶意代码的关键特征,提高模型检测精度.在M alim g数据集上的实验结果表明,该模型对恶意代码家族的识别准确率可以达到99.14％,与AlexNet、VGGNet等模型相比分别提高了1.34％ 和2.98％,且模型参数量更低.该算法在提升分类准确率的同时,降低了模型复杂度,在恶意代码检测中具有重要的工程价值和实践意义.     

基于深度残差反向传播神经网络的钢筋腐蚀检测

针对小样本数据下浅层神经网络模型拟合能力不足,而加深网络层数出现网络性能退化问题,提出一种双跳跃深度残差BP神经网络模型,每个残差块堆叠三个同维度网络层,在网络的一、二层和一、三层之间加入双跳跃连接,增强浅层低非线性度特征信息向深层网络的直接传递和重复利用,且在反向传播过程中避免了梯度消失,提升模型分类准确率。同时引入一阶矩估计梯度指数加权平均因子对Adam算法中影响学习率的二阶矩估计梯度进行调整,优化网络的收敛能力。将改进后的算法模型用于钢筋腐蚀样本数据训练及测试,仿真结果表明,改进后的算法模型具有更好的分类性能。     

基于改进EfficientNetV2网络的脑肿瘤分类方法

针对脑肿瘤磁共振图像分类问题中过拟合及分类准确率较低的问题,提出一种基于改进EfficientNetV2网络的脑肿瘤分类方法.该方法在EfficientNetV2网络中引入坐标注意力机制,该注意力机制将同时从垂直和水平两个方向获取脑肿瘤的特征信息,精准识别脑肿瘤的病灶特征,从而帮助模型更全面、准确地定位和识别病灶区域信息,有效抑制背景信息对检测结果的影响,使模型分类精度更高,解决了因获取特征信息不足导致分类精度低的问题.为进一步提升分类准确率,引入Hard-Swish激活函数,该激活函数不仅可以提升脑肿瘤分类网络模型的运算速度,也可有效提高分类精度.同时,改进后的模型搭配了Dropout层和归一化层,可更好抑制过拟合的发生,加快模型收敛速度,提高模型的鲁棒性,且分类精度有明显提升.实验结果表明,改进后的模型在验证集中获得了98.4%的分类准确率,通过对比实验和消融实验验证了改进后的模型在脑肿瘤分类任务中的有效性.     

双向多尺度LSTM的短时温度预测

针对长短期记忆网络(long short-term memory,LSTM)无法有效提取温度数据的多尺度特征和反向特征的问题,该文提出了一种双向多尺度跳跃LSTM(bidirectional multi-scale skip long short-term memory,BMS-LSTM)的短时温度预测模型.该模型以LSTM为核心单元,采用双向深层网络结构提取反向特征; 根据温度数据日的周期性设置跳跃连接数提取多尺度特征,解决了指数增长的跳跃连接数后期跳跃尺度过大的问题; 最后使用全连接层进行特征融合预测.实验结果表明:BMS-LSTM成功提取了温度数据的多尺度特征和反向特征,预测均值误差仅为3.890,优于对比模型,是一种有效的短时温度预测模型.     

基于深度学习的藻类混凝去除率预测方法

针对目前水厂应对藻类爆发时混凝剂投加量难以确定的问题,提出一种基于深度学习的藻类混凝去除率预测方法,利用DenseNet卷积神经网络和絮体图像对藻类混凝去除率进行预测,从而对投药量进行调整 . 具体做法是,在实验室条件下对高藻水进行混凝处理,记录混凝处理后的絮体图像和对应的去除率 . 以去除率区间为标签构建絮体图像数据集,利用此数据集对 DenseNet-121模型进行训练 . 结果显示,训练后的模型对测试集的预测准确度达到了 89.5%,与 VGG 和 ResNet模型相比,利用 DenseNet模型对本文建立的数据集进行识别的精确度更高,且在识别去除率在 60%~90% 区间的絮体图像相较于其他两种模型具有明显优势. 同时通过对数据集外的铜绿微囊藻絮体图像进行识别,验证了模型具有良好的泛化性.     

采用Transformer架构的长跨度视频压缩感知重构方法

深度学习的快速发展给视频压缩感知重构提供了新思路。受网络模型限制,现有的基于深度学习的压缩感知重构方法不能充分利用视频的空时特征,且对于超过16帧的视频段重构效果不够理想。采用Transformer网络构建压缩感知重构网络,利用Transformer网络在序列信号处理方面的优势构建空时注意力提取模块,学习视频帧间的空时注意力特征,更好地实现对视频连续帧的建模,从而解决长跨度视频段压缩感知重构问题。实验结果表明：所提方法在处理32张视频帧的视频分段时,能达到30 dB以上的重构精度,在处理96张视频帧的视频分段时,仍能达到27 dB以上的良好性能。     

基于改进的稀疏降噪自编码网络的三维模型识别方法

针对海量数据挖掘中三维模型特征识别准确率较低的问题, 提出一种改进的稀疏降噪自编码神经网络模型. 先基于改进的稀疏降噪自编码方法构建深度神经网络模型, 再利用无监督预训练方法及受限的拟牛顿计算方法对自编码神经网络进行训练, 最后采用softmax回归和得到的特征训练最终的分类器. 结果表明: 该方法对有噪声的三维模型特征信息具有较好的鲁棒性; 与栈式自编码神经网络和自学习神经网络相比, 该方法识别率较高.     

基于改进DCGAN轮胎缺陷图像生成方法

针对深度卷积生成对抗网络的数据扩充方法存在生成图像质量差、模型框架不稳定、模型收敛速度慢等问题，提出一种改进DCGAN轮胎缺陷图像生成模型。将残差网络和注意力机制嵌入到DCGAN模型中，提升模型特征的提取能力；同时摒弃DCGAN损失函数JS散度，使用带有梯度惩罚项的Wasserstein距离，提高模型训练的稳定性。实验结果表明，使用给定模型生成的轮胎缺陷图像质量优于使用DCGAN，WGAN，CGAN与SAGAN所生成图像，其平均FID值可以达到116.28，最小FID值可以达到84.94。所提出的模型可以稳定生成质量更好的轮胎缺陷图像，为轮胎缺陷样本数据集的扩充提供了一种有效途径，有助于有效解决深度学习在缺陷检测领域发展所面临的小样本问题。     

基于卷积神经网络的猪脸特征点检测方法

针对牲畜面部识别在养殖行业广泛需求的问题, 提出一种基于卷积神经网络的猪脸特征点检测方法, 解决了猪脸特征点难检测的问题. 首先, 采集猪面部数据并进行特征点标注, 使用新的采集方法以解决猪口部通常不可见的问题； 其次, 对猪脸数据和人脸数据进行结构计算, 匹配相似度较高的猪脸和人脸, 构建猪脸人脸匹配数据集； 再次, 利用匹配数据集训练TPS(thin plate spline)形变卷积神经网络, 得到形变后的猪脸数据集以适配人脸特征点检测模型； 最后, 使用形变猪脸数据集对人脸特征点检测神经网络模型进行微调, 得到猪脸特征点检测模型. 实验结果表明, 用该方法进行猪脸特征点检测, 错误率仅为5.60%.     

基于多尺度3D卷积神经网络的行为识别方法

近年来卷积神经网络(convolutional neural network,CNN)在行为识别任务中取得了较大的进展.然而,现有的神经网络方法往往只注重高层语义信息的利用,对浅层特征信息挖掘利用不够.针对这一问题,提出一种基于3D卷积(convolution 3D,C3D)的多尺度3D卷积神经网络的行为识别方法.该方法受到特征金字塔结构的启发,在原C3D的基础上融合C3D的浅层特征信息,实现端到端的行为识别.同时该方法以现有的深度学习理论为基础,利用迁移学习的思想,将C3D和该方法中相同模块部分的参数迁移到本方法中,以降低模型的训练时间.通过在UCF101数据集上进行实验,实验结果表明,提出行为识别方法的分类精度达到84.56％,分类效果优于原C3D分类网络.     

基于HOG-CSLBP与深度学习的跨年龄人脸识别算法

针对人脸识别中识别精度低的问题,提出一种基于深度学习的跨年龄人脸识别算法.该方法创新性地将方向梯度直方图(Histogram of Oriented Gradient,HOG)和中心对称局部二值模式(Center Symmetric Local Binary Pattern,CSLBPS)组合方法用于人脸图像特征提取,获得包含结构和强度信息的图像融合特征,然后使用二叉树对特征信息进行降维,降维特征作为深度信念网络的可视层输入量,弥补深度新信念网络无法达到图像局部特征要求的缺陷.通过训练好的深度网络模型对测试样本进行学习,在深度信念网络的最顶层对特征进行分类识别.实验结果表明,该方法能高精度实现人脸识别,且与其他方法比较,该方法性能优于其他方法,说明该方法具有可行性和有效性.     

改进RetinaNet的无人机小目标检测

无人机技术的不断成熟,使得搭载高效视觉系统的无人机应用也更加广泛。针对无人机航拍图像中小目标较多、分辨率低等原因导致的检测精度不高的问题,提出了一种改进RetinaNet的无人机航拍目标检测算法。算法针对特征图中小目标信息提取不足的问题,设计了多阶段特征融合方法,并将其与注意力机制串联设计了特征挖掘模块,可以在浅层特征图中融入深层的语义信息,丰富小目标特征;设计了基于中心点检测的无锚框(Anchor-free)方法,网络通过对中心点的回归来定位目标,而不是通过固定大小的锚框去匹配,这样做可以使网络对小目标的回归更加灵活,提高了算法的整体性能;且通过深度可分离卷积方法对网络进行轻量化设计,以压缩模型大小并提高检测速度。实验结果表明,改进算法较原RetinaNet算法平均精度提升了8.5%,检测速度提升了6帧/s,且与其他先进算法相比也具有性能优势,达到了检测精度与检测速度的均衡。     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.