改进残差神经网络在遥感图像分类中的应用

针对传统卷积神经网络随着深度加深而导致网络退化以及计算量大等问题,提出一种改进残差神经网络的遥感图像场景分类方法。该方法以残差网络ResNet50作为主框架,在残差结构中引入深度可分离卷积和分组卷积,减少了网络的参数量和计算量,加快模型收敛的同时也提升了分类精度。此外在网络中嵌入多尺度SE block模块对通道特征进行重校准,提取出更加重要的特征信息,进一步提升了网络的分类性能。在AID和UCMerced_Land Use两个公开数据集上的分类精度分别为91.92%和93.52%,相比常规残差网络分类精度分别提高了3.38%和10.24%,证明所提方法在遥感图像场景分类任务中的可行性和有效性。     

基于压缩卷积神经网络的交通标志分类算法

针对车载计算系统很难满足大型卷积神经网络对计算资源和存储空间需求的问题,提出了一种基于压缩卷积神经网络的交通标志分类算法.首先挑选原始VGG-16和AlexNet在GTSRB数据集上进行分类训练;然后对网络模型进行基于泰勒展开的通道剪枝删除冗余的特征图通道;接着使用三值量化方法对剪枝后的网络模型进行参数量化;最后进行了通道剪枝、参数量化和组合压缩的实验.结果表明:本算法有效地压缩了网络模型,减少了运算次数.最终组合压缩的VGG-16网络模型的存储空间减少一半,参数数量为原始模型的9%,每秒浮点运算次数减少为原始模型的1/5,模型加载速度提升了5倍,测试速度提升了2倍,精度为原始模型的97%.     

采用可替代滤波器的卷积神经网络模型剪枝方法

将卷积神经网络模型中某一层的所有滤波器抽象到一个欧几里德空间,对其中能被其他滤波器共同表示的滤波器剪枝,降低滤波器冗余,避免精度损失.使用强化学习进行边训练边剪枝,经过微调恢复神经网络模型性能.结果表明:剪枝并微调后的神经网络模型精度损失较小,参数量与浮点计算量显著减少.     

基于轻量化卷积神经网络的改进模型与验证

卷积神经网络随着深度和结果复杂度的不断增加,其参数量和计算量大大制约了它的应用场景,本文在SueezeNet网络结构基础上引用分组卷积并采用Channel-shuffel来解决分组卷积后的信息不流通问题。以减少原有网络结构的的参数量提高网络运行效率。在ORL数据集的验证表现也表明,在网络参数减少的情况下分类精度和收敛效率并不会有降低甚至略有提高。可以体现分组卷积在结构轻量化上的有效性。     

3D多重注意力机制下的行为识别

为解决传统3D卷积中难以提取时空信息的缺点,提出一种适用于3D卷积网络的多重注意力机制模块.该模块是由通道结合时间子模块和空间子模块组成的多维度特征调整模块.在通道结合时间模块中,通过调整池化层和卷积层的顺序,保留更多的有效通道信息和时间信息;在空间模块中,压缩冗余时间信息以减少计算量.该模块的整体计算量较少,可嵌入到各3D卷积网络中.为验证多重注意力机制模块的性能,基于3D ResNet网络设计部署了该多重注意力机制模块,并在UCF-101和HMDB-51两个行为识别数据集上分别进行训练.结果表明,改进后的3D ResNet在UCF-101上可提升1.50%的精度,在HMDB-51可提升1.24%的精度,而参数量只增加0.24%.     

基于微型计算机和神经网络的果蔬识别

在微型计算机上使用深度卷积神经网络实现果蔬自动识别的复杂图像识别任务,并构造了具有人工智能技术的电子秤系统.采用深度可分离卷积和反向残差网络设计构成的深度神经卷积网络,极大减少了模型的运算量并保持了较高的识别精度,适合硬件资源有限的微型计算机.神经网络经过训练、调参、剪枝优化后,图像识别准确率达到91.9%,推理延时小于1.5 s.这种人工智能系统可以代替人工操作让顾客进行自主购物,适合在无人超市或者避免聚集接触的环境下使用.     

语音识别中的DenseNet模型研究

为了解决语音识别中由网络加深导致的低层特征消失、参数量大及网络训练困难的问题,基于Inception V3网络的非对称卷积思想,提出了一种改进的密集连接卷积神经网络(densely connected convolutional neural networks, DenseNet)模型。根据语音识别的长时相关性,通过密集连接块建立起不同层之间的连接关系,从而保存低层特征、加强特征传播;为了得到尺度更丰富的声学特征,将卷积核的范围进行扩大;利用非对称卷积思想分解卷积核,以减少参数量。实验结果表明,相较经典深度残差卷积神经网络模型和原始DenseNet模型,提出的模型在THCHS30数据集上的语音识别性能更好,在保证识别率的情况下,还减少了网络参数量,提高了模型训练效率。     

多尺度并行融合的轻量级卷积神经网络设计

针对传统深度卷积神经网络分类精度不佳,参数量巨大,难以在内存受限的设备上进行部署的问题,本文提出了一种多尺度并行融合的轻量级卷积神经网络架构PL-Net。首先,将上层输出特征图分别送入两种不同尺度的深度可分离卷积层;然后对并行输出特征信息进行交叉融合,并加入残差学习,设计了一种并行轻量型模块PL-Module;同时,为了更好地提取特征信息,利用尺度降维卷积模块SR-Module来替换传统池化层;最后将上述两个模块相互堆叠构建轻量级网络。在CIFAR10、Caltech256和101_food数据集上进行训练与测试,结果表明:与同等规模的传统CNN、MobileNet-V2网络及SqueezeNet网络相比,PL-Net在减少网络参数的同时,提升了网络的分类精度,适合在内存受限的设备上进行部署。     

基于联合注意力-可分离卷积的立体匹配算法

为解决立体匹配网络模型轻量化与高精度不能共存的问题,本文提出新的立体匹配算法CSA-Net。算法具体是在特征提取阶段,利用类ResNet进行特征提取,训练空洞金字塔池化（ASPP）模块扩大感受野,提取多尺度上下文信息,加入联合注意力机制（CSM）,在空间和通道维度提高表征能力,关注重要特征并抑制不必要的特征。在特征融合阶段,将2D深度可分离卷积提升到3D来代替原网络中标准3D卷积在空间维度和通道维度分别进行卷积运算,以降低特征融合网络的参数量与模型运行时间。最终实验表明,本文所提出的立体匹配网络模型在KITTI 2012和2015数据集进行验证,在三像素匹配误差率为1.44%和2.24%,模型运行时间减少近1/3。因此,相比于其他实现了更高的匹配精度和更快的运行速度。     

采用空间依赖的MTDPN扶梯危险行为的姿态估计

为实现自动扶梯场景下姿态估计的快速响应和准确估计，提出一种基于空间依赖的多任务解耦姿态网络(MTDPN)。首先，对姿态估计网络进行定位和分类任务分支的解耦，使每个任务分支能够自适应地调整特征关注方向；其次，提出一种空间依赖卷积，通道联合层和空间联合层作为中间层，以逐点卷积和逐深度卷积取代传统卷积，从而降低MTDPN的参数量和浮点计算量，使每张图片的检测时间仅为73.3 ms。在扶梯危险行为关键点数据集和COCO关键点数据集上对MTDPN进行评估。结果表明：与原始网络YOLOPOSE相比，MTDPN在扶梯危险行为关键点数据集和COCO关键点数据集上的准确性指标均有所提高。