基于全局信息的卷积神经网络模型剪枝微调优化方法

为解决因卷积神经网络模型规模大,模型剪枝方法引起的精度下降问题,提出一种模型剪枝微调优化方法.该方法引入原卷积神经网络模型权重全局信息至剪枝后模型,使原模型信息体现在剪枝后模型的权重上,提升剪枝后模型的精度.在图像分类任务和目标检测任务中的实验结果表明,所提出的微调优化方法可获得更大的压缩率和更小的模型精度损失.     

一种混合阈值剪枝的稀疏化训练图像识别算法

卷积神经网络在图像识别的应用中,有大量的冗余参数,增大了计算量,降低了网络运行速度.针对这个问题,提出了一种混合多阈值的稀疏化训练剪枝算法,通过稀疏化训练和混合全局与局部阈值的剪枝算法,压缩了神经网络的模型.通过对缩放因子L1正则化,使重要性低的通道值接近0,进行稀疏化训练,再引入全局阈值和局部阈值剪枝掉接近于零的通道并防止模型向粗粒度方向压缩,并对其进行训练微调参数,得到了混合阈值剪枝的精简模型.最后为了验证本文方法有效性,在DOTA(a large-scale dataset for object detection in aerial images)数据集中进行测试,该算法在小幅度降低图像识别精度的前提下,成功地压缩模型90％大小,加快了53％的计算速度,取得了较好的效果.     

基于深度神经网络剪枝的两阶段遥感图像目标检测

在高分辨率遥感图像目标检测中,受云雾、光照、复杂背景、噪声等因素影响,现有目标检测方法虚警率高、速度慢、精确度低.为此提出基于深度神经网络剪枝的两阶段目标检测(object detection based on deep pruning,ODDP)方法.首先,给出深度神经网络剪枝方法,基于深度神经网络剪枝分别提出自主学习区域提取网络算法与优化训练分类网络算法;然后,将上述两算法用于卷积神经网络,得到两阶段目标检测模型.实验结果表明,在NWPU VHR-10高分辨率遥感数据集上,相比现有目标检测方法,ODDP的检测速度和精度均有一定提升.     

融合特征通道重要性与相似性的深度YOLO网络压缩方法

基于深度YOLO网络的目标检测方法网络结构复杂、冗余参数过多、计算量大,极大影响模型检测性能。针对此问题,从降低网络中低效通道和冗余通道的影响出发,提出了一种融合特征通道重要性与相似性的深度YOLO网络压缩方法,基于深度网络压缩中的网络剪枝思路,采用2次剪枝剪去低效及冗余特征通道。构建通道重要性计算方法,将稀疏因子作为通道效能计算指标,结合剪枝率剪去低效通道;根据通道间存在的线性关系计算其相似度,对相似度较高的通道进行替代,剪去相似度较大的通道;微调模型参数,恢复剪枝前的检测精度。仿真实验表明,同当前性能较优的深度网络压缩方案相比,提出的方法在保证目标检测精度的同时极大减小了模型尺寸、提升了检测速度,方法可行、有效。     

一种基于通道域自注意力的特征图剪枝方法

同时保证网络剪枝方法的准确率和稳定性，提出一种基于通道域自注意力的特征图剪枝方法。该方法采用主成分分析（principle component analysis, PCA）算法降低噪声干扰，引入通道域注意力为特征图自动分配不同权重，移除低权重通道的滤波器，并对网络进行重训练和精调，以减少网络精度损失。在公开数据集上对VGG 16网络模型展开的实验表明，当剪枝率为60%时，达到视觉几何组模型Top 5的准确率为8923%；当剪枝率逐渐增加到80%时，仍保持73%准确率。相较于同类方法，本文提出的方法更能保证剪枝时模型的准确率和稳定性。     

基于剪枝AlexNet的普米语孤立词识别

普米语是1种日渐消亡的无文字的少数民族语言,人们为了让其获得更好的发展与传承,开展了许多基于深度学习的普米语语音识别研究工作.然而,人们为追求更高的识别精度,通常不断的增加模型复杂度,造成了神经网络学习速度慢、训练成本高等问题.为了加快普米语孤立词识别中网络的学习速度、降低网络的训练成本,对卷积神经网络的AlexNet模型采用迭代剪枝算法以逐层剪枝的方式进行修剪,然后从生成的稀疏网络中寻找最佳剪枝网络用于普米语语谱图识别.实验表明,AlexNet剪枝网络在普米语孤立词识别中,能够有效的降低网络计算量、加速模型训练.该网络具有比原网络更快的收敛速度,达到与原网络类似的较高识别精度.     

基于压缩卷积神经网络的交通标志分类算法

针对车载计算系统很难满足大型卷积神经网络对计算资源和存储空间需求的问题,提出了一种基于压缩卷积神经网络的交通标志分类算法.首先挑选原始VGG-16和AlexNet在GTSRB数据集上进行分类训练;然后对网络模型进行基于泰勒展开的通道剪枝删除冗余的特征图通道;接着使用三值量化方法对剪枝后的网络模型进行参数量化;最后进行了通道剪枝、参数量化和组合压缩的实验.结果表明:本算法有效地压缩了网络模型,减少了运算次数.最终组合压缩的VGG-16网络模型的存储空间减少一半,参数数量为原始模型的9%,每秒浮点运算次数减少为原始模型的1/5,模型加载速度提升了5倍,测试速度提升了2倍,精度为原始模型的97%.     

基于迁移学习和支持向量机的白细胞分类

针对人工镜检分类白细胞准确率和效率低的问题,基于深度学习和机器学习算法,提出了一种基于迁移学习和支持向量机的白细胞分类方法.首先对迁移模型进行微调训练,其次用微调训练后的迁移模型进行特征提取,然后将特征输入至神经网络和支持向量机中进行训练,最后通过神经网络和支持向量机的组合分类器对白细胞进行分类.实验结果表明,白细胞分类准确率由最初微调训练的83.26％,随着迁移模型的优化提升为90.43％,最后通过组合分类器再次提升为93.52％,可以在临床实践中帮助医生提高诊断的准确率和效率.     

基于卷积神经网络和迁移学习的钢桥病害识别

针对钢桥病害识别效率低、精度不高的现状,提出了一种基于深度学习的钢结构表观病害识别方法.该方法将卷积神经网络Inception-v4和迁移学习相结合,分别采用迁移学习中特征提取和微调2种训练方式获得2种模型,并与全新训练的Inception-v4模型进行对比.首先,收集656幅钢桥病害图像,包括涂层劣化176幅,腐蚀1...     

基于遗传算法的模糊优选神经网络路面性能评价模型

针对现有路面性能评价方法的不足,在模糊优选神经网络模型的基础上,引入遗传算法,建立了基于遗传算法的模糊优选神经网络的路面使用性能评价模型.该算法采用遗传算法优化神经网络权值,再用神经网络对遗传算法搜索到的近似最优解进行微调,并将模糊优选模型作为神经网络的激励函数,使模型具有明确的物理意义.应用该模型对沈大高速公路部分路段进行评价,与其他模型的对比分析表明:该方法在评价精度和效率方面取得了良好的效果,是一种实用的高速公路路面性能评价方法.     

基于卷积神经网络的轿车车型精细识别方法

在复杂交通场景中,公安和交管部门对车型识别的实时性和精度提出了更高要求。针对当前假牌、套牌、无牌车辆处理占用大量警力、检索效率低下、非智能化等一系列问题,提出了一种基于GoogleNet深度卷积神经网络的车型精细识别方法,设计了合理的卷积神经网络滤波器大小和数目,优选了激活函数和车型识别分类器,构建了一个新的卷积神经网络轿车车型精细识别模型框架。实验结果表明,在车型精细识别测试中,所提出模型的识别率达到了97%,较原始GoogleNet模型有较大提升,而且,新模型有效地减少了训练参数的数量,降低了模型的存储空间。车型精细识别技术可应用于智能交通管理领域,具有重要的理论研究价值与实践意义。     

基于改进高斯滤波网络的深度伪造检测方法

针对滚动轴承传统故障诊断方法训练收敛速度慢、识别准确率不高、抗针对虚假视频的检测中,特征噪声多、数据量大和检测准确率低的问题,提出一种改进高斯滤波对地标点进 行去噪和改进深度网络模型来提升精度的算法(IGFNet);算法将高斯滤波拓展到空域和值域上,在滤除低频噪声的同时尽可能保留高频噪声,使得在后续特征数据的处理中,标记点的精度得以提升;采用特征化的数据代替原始数据以减少数据量,使得送入网络的数据量大大缩小,有效缩短了训练时长和减少了网络参数量,在实际应用中可以增加鉴别虚假视频的效率;并且针对人脸属性特征点的差异采用不同深度的双流神经网络,从而更加有效地学习如何鉴别虚假视频。 实验表明:改进高斯滤波网络算法(IGFNet)有效地增加了真假脸检测的准确率,在与当前 较为优秀的方法如 Meso4,Xecption,LRNet 等的对比下,IGFNet 的准确率均有不同程度的提升,在跨数据集的测试上提升尤为明显;在压缩过的虚假视频测试中,IGFNet 的泛化下降程度最低,显示了较强的鲁棒能;通过改进网络加入梯度热力图以直观判断出 IGFNet 对于深度伪造图片的鉴别能力。     

结合扰动集成RBF的故障识别方法

为提高旋转机械故障识别精度,将神经网络与集成学习方法进行结合,提出结合扰动方式的集成RBF故障模式识别方法.首先,通过ReliefF算法计算所提取出的转子故障特征数据集各个特征的权重,并且将权重值进行降序排列,从而筛选出权重趋大的系列特征构成低维特征数据集;其次,将较大权重作为无放回轮盘赌法的输入,对权重所对应的低维特征数据集进行特征扰动,产生系列化低维数据子集并将其划分为训练集和测试集;然后,采用Bagging算法中的自助采样法对训练集进行样本扰动,以此形成新的训练集并用于训练对应个数的RBF神经网络,完成差异性子分类器的构建;最终,对各个神经网络的测试数据辨识结果通过相对多数投票法进行结合,得到故障识别结果.实验结果表明,对于转子系统的故障识别,该方法相较于未集成RBF神经网络、集成BP神经网络具有较高的识别精度,并且拥有较好的泛化性能.     

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。     

基于改进卷积神经网络与动态衰减学习率的环境声音识别算法

环境声音识别在音频检索、监控方面有着广泛的应用,是听觉识别任务中的一个热门研究领域。但由于其声音信号的复杂多变,使得该任务在识别率提升方面依然面临许多挑战。针对这一问题本文提出了基于改进卷积神经网络的环境识别模型（S-CNN）,该模型采用反复堆叠的递减型卷积核提取不同尺度的局部特征,并在每层卷积层后采用Batch Normalization（BN）层对特征进行归一化操作。同时,利用动态衰减的学习率训练模型,以提高模型收敛速度与收敛稳定性。实验结果表明,相比于传统的机器学习与卷积神经网络模型,本文所设计的改进卷积神经网络模型S-CNN具有更好的识别率。在ESC-10环境声音数据库上,识别精度达到91.3%。     

基于机器学习的汽油加氢裂化辛烷值损失预测和脱硫优化

辛烷值损失的准确预测有助于汽油炼制过程的优化与控制,以达到更好的脱硫效果。原油的加氢脱硫是一个十分复杂的物化反应过程,对于该过程中的参数控制多依赖于工人的经验,因此基于大数据建立辛烷值损失预测模型可以用于优化脱硫效果,从而提高产品质量,减轻工人的劳动强度,具有十分重大的实际意义。采用单因素分析、方差过滤、随机森林等方法进行了特征筛选,最后基于逻辑回归、BP(back propagation)神经网络以及支持向量机(support vector machine, SVM)三种机器学习算法构建了辛烷值损失预测模型。实验结果表明,基于SVM建立的辛烷值损失预测模型精度达到了98.24%,优于逻辑回归和BP神经网络预测模型。将该模型应用于脱硫优化,在生成汽油的硫含量达标的情况下,获得最优的控制变量组合,达到将辛烷值损失降到最低的目的。     

基于Transformer神经网络模型的网络入侵检测方法

网络入侵检测一直以来都是网络安全中亟待解决的关键任务之一,传统网络入侵检测方法主要通过提取多维特征,采用机器学习方法构建检测模型,大多忽略了入侵行为的时间相关性.通过提取网络入侵行为的时序特征,设计基于降维特征的多头自注意力机制Transformer网络模型,以解决传统串行化时序神经网络模型不易收敛且时间开销较大的问题,通过选取最优的损失函数和训练参数进行并行化训练,实现网络入侵行为检测.实验结果表明,基于Transformer网络模型的网络入侵检测方法在多个数据集上均获得了99％以上的精度和检出率.     

基于改进型深度网络数据融合的滚动轴承故障识别

针对传统智能诊断方法依赖于信号处理和故障诊断经验提取故障特征以及模型泛化能力差的问题,基于深度学习理论,提出将卷积神经网络算法结合softmax分类器,针对数据集不平衡问题引入加权损失函数、正则化以及批量归一化等模型优化技术搭建适于滚动轴承故障诊断的改进型深度卷积神经网络模型。模型从原始实测轴承振动信号出发逐层学习实现特征提取与目标分类。实验结果表明,优化后的深度学习模型可实现对早期微弱故障、不同程度故障的精确识别,在不平衡数据集上也可达到95%的识别准确率,并且模型拥有较快的收敛速度和较强的泛化能力。