面向嵌入式应用的深度神经网络模型压缩技术综述

结合大数据的获取,深度神经网络关键技术广泛应用于图像分类、物体检测、语音识别和自然语言处理等领域.随着深度神经网络模型性能不断提升,模型体积和计算需求提高,以致其依赖高功耗的计算平台.为解决在实时嵌入式系统中的存储资源和内存访问带宽的限制,以及计算资源相对不足的问题,开展嵌入式应用的深度神经网络模型压缩技术研究,以便缩减模型体积和对存储空间的需求,优化模型计算过程.对模型压缩技术进行分类概述,包括模型裁剪、精细化模型设计、模型张量分解和近似计算和模型量化等,并对发展状况进行总结.为深度神经网络模型压缩技术的研究提供参考.     

基于轻量化卷积神经网络的改进模型与验证

卷积神经网络随着深度和结果复杂度的不断增加,其参数量和计算量大大制约了它的应用场景,本文在SueezeNet网络结构基础上引用分组卷积并采用Channel-shuffel来解决分组卷积后的信息不流通问题。以减少原有网络结构的的参数量提高网络运行效率。在ORL数据集的验证表现也表明,在网络参数减少的情况下分类精度和收敛效率并不会有降低甚至略有提高。可以体现分组卷积在结构轻量化上的有效性。     

VansNet轻量化卷积神经网络

近年来,研究人员们在卷积神经网络的基础上保证效率的条件下提出了轻量化卷积神经网络,其中SqueezeNet轻量化卷积神经网络在保证精度的前提下,压缩了参数,提高了整体效率。本文针对SqueezeNet网络中由于压缩参数,存在准确率不理想的问题,提出了引入残差网络,增加跳层结构和网络宽度的改进方法 VansNet,相较于AlexNet、ResNet和SqueezeNet三种卷积神经网络其计算量最小且参数量很小。实验结果表明,改进后的VansNet轻量化结构在略增加参数的前提下提高了图像分类的准确率和效率。     

结合批归一化的轻量化卷积神经网络分类算法

传统的深度卷积神经网络结构复杂,参数量多.针对现有的轻量化卷积神经网络模型结构,提出一种改进的轻量化卷积神经网络BN-MobileNet.采用模型压缩的方法对原结构进行缩减,减少冗余参数,再对深度可分离卷积的结构进行改进,在relu非线性激活层后加入归一化层来对非线性激活层所输出的数据进行归一化处理.同时,使用全局平均...     

基于遗传神经网络的企业信用评级模型研究

提出了一种基于遗传算法改进的神经网络企业信用评级模型.利用BP神经网络自适应和自学习的特点,通过遗传算法实现对神经网络连接权重和阈值的修正与优化,在一定程度上解决了BP神经网络存在收敛速度较慢和可能落入局部最小点的问题.实验表明,该模型在企业信用评级上有着较高的准确率,具有很好的应用价值.     

基于轻量化卷积神经网络模型的云与云阴影检测方法

大多数遥感影像数据不可避免地受到云层的污染导致数据的失效。因此,对云进行检测是非常必要的预处理步骤。随着航天技术的飞速发展,更加轻便的卫星被设计出来,为了在这些算力有限的微小卫星上配备遥感影像预处理模型。设计一种高精度、算力要求低的轻量化云与云阴影检测网络模型具有重要意义。针对上述问题,本研究提出一种基于深度可分离卷积的轻量化卷积神经网络模型（Lightweight M-shaped Network,L-MNet）,L-MNet网络模型是在M-Net（ M-shaped Network）网络模型的基础上引入深度可分离卷积（Depthwise Separable Convolution）,设计一种深度可分离卷积模块（DS-Conv Block）,以减小算法的复杂度及计算量。实验结果表明,本研究所提方法在保证检测精度的前提下,可以有效减小像素级云检测的模型大小及计算量,有助于实现微小卫星在轨云检测的任务。     

BP神经网络的模型优化研究及应用

随着神经网络在数据分析、预测及生产控制中的应用,神经网络的优化学习成为研究的一个重要课题。通过探讨BP神经网络模型的建立过程,针对BP神经网络的模型优化问题进行了详细研究。并通过对银行客户分类的仿真实验证明,优化模型能够有效地提高BP神经网络的收敛速度及预测精度。     

基于神经网络的食品安全评价模型构建研究

食品安全评价模型的准确度高低,直接影响食品安全状况评价、预测的准确率.结合危害分析与关键控制点的(HACCP)食品安全管理体系理论,从食品供应链的角度出发,建立食品安全评价指标体系;使用层次分析法(AHP)改进逆向传播(BP)神经网络算法中随机初始化计算权重的方法,训练样本数据,并以测试数据作为验证,检测模型的误差收敛速度和拟合度.结果表明,这种BP神经网络结合AHP方法构建的模型具有实用、精度高、快速、客观等优点,可用于生产、加工、销售等流通环节食品安全评价、区域食品安全评价以及种类食品安全评价.     

基于遗传算法的汽车变速箱轻量化设计

文章利用近似模型方法和遗传算法对某变速箱进行轻量化设计.在满足变速箱刚度强度及振动模态要求的基础上,采用拉丁方法进行试验设计,基于高斯径向基函数建立近似模型,最后利用遗传算法进行全局寻优设计.优化后箱体质量降低了21％.结果表明,该方法对汽车变速箱结构轻量化设计具有一定的指导意义.     

融合群稀疏与排他性稀疏正则项的神经网络压缩情感分析方法

文本情感分析是目前网络环境下舆情监控、服务评价及满意度分析等领域的重要任务,一些基于深度神经网络的方法已被用于此类任务。规模庞大的深度神经网络模型结构赋予了深度学习模型强大的非线性拟合的能力,大规模的数据资源为训练这样大规模的模型并保证其泛化能力提供了可能性。然而,在实际应用中,深度模型的时间和空间开销仍然制约着这些方法的落地。针对上述问题,提出一种融合群稀疏与排他性稀疏正则项的神经网络压缩情感分析方法,首先分别构建循环-卷积神经网路与卷积-循环神经网络,通过门控单元融合两种网络组成的分析模型,在模型中引入群稀疏与排他性稀疏正则项,剪除冗余神经元或链接,压缩模型规模。在不同数据集上的实验结果验证了本文方法的有效性。     

遗传机理神经网络在电弧炉炼钢模型辨识应用

在直流电弧炉炼钢过程控制系统中，由于它的复杂机理，高度非线性加大了建模的难度，为提供适用于直流电弧炉炼钢过程优化控制的模型，提出了一种引入遗传算法的神经网络建模方法，并蒋其用于某厂直流电弧炉钢过程模型的建立，获得了很好的效果。同时给出了基于现场实测数据的仿真结果。     

基于压缩卷积神经网络的交通标志分类算法

针对车载计算系统很难满足大型卷积神经网络对计算资源和存储空间需求的问题,提出了一种基于压缩卷积神经网络的交通标志分类算法.首先挑选原始VGG-16和AlexNet在GTSRB数据集上进行分类训练;然后对网络模型进行基于泰勒展开的通道剪枝删除冗余的特征图通道;接着使用三值量化方法对剪枝后的网络模型进行参数量化;最后进行了通道剪枝、参数量化和组合压缩的实验.结果表明:本算法有效地压缩了网络模型,减少了运算次数.最终组合压缩的VGG-16网络模型的存储空间减少一半,参数数量为原始模型的9%,每秒浮点运算次数减少为原始模型的1/5,模型加载速度提升了5倍,测试速度提升了2倍,精度为原始模型的97%.     

压缩垃圾站箱体结构有限元仿真研究

地埋升降式压缩垃圾站是近几年发展起来的一种新型城市生活垃圾中转设备.本文对地埋升降式压缩垃圾站箱体结构和受力情况进行分析,建立了箱体的压缩垃圾分布载荷模型;运用三维建模技术和有限元法对地埋升降式压缩垃圾站箱体进行有限元分析,分析结果将为压缩垃圾站的结构优化设计提供重要的参考依据.     

基于遗传算法的分布结构模糊神经网络

提出了一种用于模糊系统建模和分析的分布结构模糊神经网络,这种网络将所有输入变量的从属度与各输出变量的从属度通过分布结构独立对应起来,利用遗传算法得到网络的权与输入变量的从属函数最优化参数,最后给出计算机模拟结果。     

基于遗传算法的神经网络结构优化

介绍了遗传算法的基本原理,然后利用遗传算法优化神经网络结构,形成以遗传算法与神经网络相结合的进化神经网络.经验证可知,该算法具有一定的可行性与有效性.     

神经网络模型的结构和算法的分离

研究神经网络模型的结构和算法的分离与结合理论及结合神经网络结构描述语言实现底层代码的重用,通过对多种神经网络的比较,总结出规律,论证了结构和算法分离的可行性,给出了分离的理想界线和各部分的适当描述方式及合成的具体方法,只要用户输入对新结构的描述,选择算法库中一种合适的算法就能通过软件自动生成神经网络程序,目前采取这种结构和算法相相分离的方式,被认为是具有一定优势和意义的。     

DenseNet模型轻量化改进研究

针对深层DenseNet模型在小型数据集上的过拟合问题,提出了一种改进的轻量化DenseNet模型.首先,优化网络中密集连接块(Dense Block)数量和其内部网络结构;然后,提出一种自适应池化层方法,解决改进网络的特征图分辨率适应问题;最后,加入Skip Layer模块增强密集连接块间特征信息流通.实验结果表明,改进方法能够减少模型的参数量和计算量,有效解决了深层DenseNet的过拟合问题.     

线性模型的广义压缩预测

考虑线性模型y=Xβ+e,E(e)=0,Cov(e)=σ2V在V=IN且2≤ rkX=P≤N假设下,针对X的复共线性,提出了广义压缩预测.