多尺度并行融合的轻量级卷积神经网络设计

针对传统深度卷积神经网络分类精度不佳,参数量巨大,难以在内存受限的设备上进行部署的问题,本文提出了一种多尺度并行融合的轻量级卷积神经网络架构PL-Net。首先,将上层输出特征图分别送入两种不同尺度的深度可分离卷积层;然后对并行输出特征信息进行交叉融合,并加入残差学习,设计了一种并行轻量型模块PL-Module;同时,为了更好地提取特征信息,利用尺度降维卷积模块SR-Module来替换传统池化层;最后将上述两个模块相互堆叠构建轻量级网络。在CIFAR10、Caltech256和101_food数据集上进行训练与测试,结果表明:与同等规模的传统CNN、MobileNet-V2网络及SqueezeNet网络相比,PL-Net在减少网络参数的同时,提升了网络的分类精度,适合在内存受限的设备上进行部署。     

基于小数据集的改进LeNet图像分类模型研究

将传统卷积神经网络应用于小数据集上,LeNet模型准确率低并且收敛速度慢,VggNet等模型存在过拟合问题.针对小数据集提出一种改进LeNet模型,该模型在LeNet基础上使用ReLU函数替换sigmoid来提高收敛速度,加入1*1卷积增加模型深度并利用其改变维度的特点来提高识别准确率,通过分解卷积和提出改进Dropout方法减少过拟合.结果表明:改进LeNet模型分类自制小龙虾数据集,比LeNet收敛速度快6000步并且准确率提高约15%,比VggNet和ResNet过拟合程度明显减少;将改进LeNet模型推广应用于开源数据集MNIST和Fashion-MNIST上,改进模型也有良好的表现.     

一种基于卷积神经网络的结构损伤检测方法

针对结构健康监测系统产生的海量数据难以高效分析的问题,采用了一种基于二维卷积神经网络的损伤识别检测方法,该方法直接将结构在外界激励作用下的加速度时程数据作为输入信息,通过卷积神经网络自动提取加速度数据中的隐含特征,识别结构的损伤.以板的损伤识别为例,给出了卷积神经网络损伤识别模型的输入数据格式、网络结构和训练方法,分析了卷积神经网络分别在不含噪声,含噪声5%、10%以及混合噪声情况下的损伤识别能力.测试结果显示这种基于加速度输入的卷积神经网络具有较高的损伤识别精度和抗噪能力,从而为结构健康监测系统数据分析和损伤识别提供了一种新的途径.     

基于级联卷积神经网络的人脸关键点定位

由于人脸姿态、表情、遮挡物、光照问题的影响,人脸关键点检测时通常会出现较大的误差,为了准确且可靠地检测关键点,提出了一种基于级联卷积神经网络的方法。利用人脸检测器检测到的人脸图像作为输入,第一层卷积神经网络直接检测所有的5个人脸关键点。随后根据这些检测到的点裁剪出5个人脸局部图像,级联的第二层网络使用5个不同的卷积神经网络单独地定位每个点。在实验测试环节,级联卷积神经网络方法的使用将人脸关键点的平均定位误差降低到了1.264像素。在LFPW人脸数据库上的实验结果表明:该算法在定位准确性和可靠性上要优于单个CNN的方法以及其他方法,该算法在GPU(图形处理器)模式下处理一个人脸图像仅需15.9毫秒。     

基于深度卷积神经网络的无序蛋白质功能模体的识别

针对目前实验方法识别天然无序蛋白质中的功能模体耗时费力、难度大,而传统计算机辅助识别方法过于依赖人工挑选特征且准确度低等问题,提出一种利用深度卷积神经网络预测功能模体位置的方法;该方法直接将蛋白质序列作为输入,通过计算对应的位置特异性打分矩阵和3组氨基酸指数特征,将序列映射到数值矩阵中,模型自行抽取特征并自动识别功能模体的隐性序列模式来进行预测。结果表明:当使用相同数据集进行训练和测试时,本文中提出的方法的性能明显优于其他传统的识别算法,在验证集上的感受性曲线下的面积(AUC)值达到0.708,在测试集上的AUC值达到0.760,说明深度卷积神经网络能够有效地识别功能模体的隐性序列模式;该方法也可以用于其他聚集型蛋白质功能位点的识别。     

卷积神经网络声学模型的结构优化和加速计算

将卷积神经网络(convolutional neural networks,CNN)声学模型应用于中文大词表连续电话语音识别任务中,分析了卷积层数、滤波器参数等变量对CNN模型性能的影响,最终在中文电话语音识别测试中,CNN模型相比传统的全连接神经网络模型取得了识别字错误率1.2％的下降.由于卷积结构的复杂性,常规的神经网络加速方法如定点量化和SSE指令加速等方法对卷积运算的加速效率较低.针对这种情况,对卷积结构进行了优化,提出了2种卷积矢量化方法:权值矩阵矢量化和输入矩阵矢量化对卷积运算进行改善.结果表明,输入矩阵矢量化方法的加速效率更高,结合激活函数后移的策略,使得卷积运算速度提升了8.9倍.     

面向弹性光网络中间节点的嵌入式光性能监测系统

针对目前卷积神经网络在弹性光网络中间节点监测时硬件成本高,占用内存大的问题,提出一种基于二值卷积神经网络与异步延时抽头采样技术的嵌入式光性能监测系统。结果表明,对于16QAM、32QAM、64QAM信号,调制格式识别准确率均为100%,光信噪比识别准确率分别为99.1%、98.5%和97.4%。这些结果证明了在嵌入式平台上将异步延时抽头采样技术和二值卷积神经网络用于中间节点进行链路监测的可行性。此外,本系统的内存占用减少为浮点型卷积神经网络的1/4,识别时间缩短为它的1/3,更适合部署于资源有限的弹性光网络中间节点。     

基于混合特征图的非侵入式负荷监测算法

针对目前的非侵入式负荷监测算法所需运算成本高、难以实用推广的现状，提出一种低运算成本的基于混合特征图的非侵入式负荷监测算法。首先，提取设备的功率特征和稳态电压-电流轨迹图特征，将设备功率特征进行维数变换后与电压-电流轨迹特征图组合，得到设备混合特征图。该特征图以小尺寸灰度图为载体，减小了硬件存储与模型算力的成本。然后，基于LeNet卷积神经网络建立设备辨识模型，以混合特征图为输入，实现对设备种类的辨识。最后，使用PLAID数据集对所提算法的结果准确性与计算性能进行测试。结果表明：所提算法的设备辨识准确率可达92.7%,与辨识准确率相差小于1%的同类算法相比，在算法参数量和运算量方面减少了99%,能有效减少NILM的运算成本。     

基于卷积神经网络的抽油机故障诊断

抽油机故障诊断对于保障油气田的稳定运行至关重要。针对已有基于深度学习的故障诊断模型参数量大导致应用范围受限的问题,提出一种基于空洞卷积和惩罚机制的卷积神经网络模型。该模型在浅层神经网络部署不同空洞卷积率的空洞残差模块,高效获取示功图轮廓特征的同时降低了模型参数量。其次,将惩罚机制融入Softmax损失函数,增强模型诊断气体影响等难分样本的故障准确率。采用抽油机实况数据集进行实验验证,结果表明该模型参数量为0.94 M,浮点型计算量为165.24 M。与MobileNetV3相比,改进后的算法模型在准确率同为96.6%的前提下参数量减少了3.30 M,浮点型计算量减少了52.22 M,更易部署在资源受限的故障诊断平台。     

基于卷积神经网络的图书页面检索方法

针对现有图书页面检索方法检索精度低的问题,利用任务无关数据集训练卷积神经网络,提出了一种基于卷积神经网络的图书页面检索方法.首先将待检图书页面图像进行图像分割和畸变校正,降低背景的干扰和几何畸变的影响;然后将校正后的图像输入卷积神经网络提取图像特征;最后使用夹角余弦距离来度量待检图像和候选图像的相似度.实验结果表明:本方法在测试数据集上的Top-5命中率为97.31%,而直接使用任务无关数据集训练的卷积神经网络的Top-5命中率仅为58.47%.本方法避免了耗费大量的时间和精力去收集大规模图书页面图像数据库,而且利用卷积神经网络强大的图像特征描述能力,取得了优异的图书页面检索精度.     

云边协同的轻量级网络结构人脸识别方法

为了解决人脸识别因采用复杂度较高的卷积神经网络导致在计算与存储资源受限的物联网(IoT)边缘设备中无法部署的问题，提出了可通过云边协同技术部署在物联网边缘设备上的轻量级Mobile MTCNN人脸检测与识别算法，以减少物联网边缘设备资源开销.在人脸检测算法中使用轻量级子网络获取人脸框位置和人脸关键点坐标，并在人脸识别算法中设计了基于Mobile-Inception与Mobile-Resent结构的IMobileNet网络模型.实验结果表明：人脸检测算法在较现有算法准确率平均下降1%的情况下，虽然漏检率平均增加1%,但运行时间平均减少20%以上；人脸识别算法在达到MobileNet V2网络相同准确率情况下，设计并选用的IMobileNet-Small网络平均识别时间减少12%以上.因此，轻量级人脸检测与识别算法可维持识别精确度，同时满足边缘设备部署要求.     

资源受限MCU的轻量化部署策略和实现

为实现低资源嵌入式设备的图像分类识别,针对能实现简单图像识别任务、对图像识别准确率要求不高,且要求低成本的场景,将卷积神经网络(CNN:Convolutional NeuralNetwork)部署到资源受限的微控制器单元(MCU:Microcontroller Units)上。首先提出一种在资源受限MCU上的轻量化部署策略：为降低模型的参数量,提出一种轻量化的神经网络算法;为保证模型大小能适应有限的随机存取存储器(RAM:Random Access Memory),提出了一种基于闪存(FLASH:Flash Memory)扇区的替存储算法。其次,在资源受限的嵌入式设备上部署该策略。针对采集图像的质量和采集速度不匹配问题,设计了摄像头外围电路;对采集图像进行基于高斯分布的自适应阈值二值化处理并对图像样本完整性进行校验。实验结果表明,该系统取得大约80%～89%的识别准确率。虽然该准确率低于训练精度10%左右,但在上述对精度要求不高的实际场景中可以较好地应用。     

一种简洁高效的加速卷积神经网络的方法

卷积神经网络是机器学习领域一种广泛应用的方法,在深度学习中发挥着重要的作用。由于卷积神经网络一般需要多个层,而且训练数据通常都很大,所以网络训练可能需要几小时甚至很多天。目前虽然有一些利用GPU加速卷积神经网络训练的研究成果,但基本上都是实现方式复杂,需要技巧很高,而且容易出错。提出了一种简洁、高效的加速卷积神经网络训练的方法,其主要过程是将卷积层展开,这样卷积层和全连接层的主要训练步骤都可以用矩阵乘法表示;再利用BLAS库高效计算矩阵乘法。这种方法不需要过多考虑并行处理的细节和处理器的内核特点,在CPU和GPU上都能加速。实验证明,GPU上使用该方法比传统的CPU上的实现快了100多倍。     

三维输入向量CMAC神经网络连接权矩阵的计算

以矩阵理论为工具，提出了三维输入向量的ＣＭＡＣ 神经网络连接权矩阵的直接计算方法．应用该方法时不必迭代求解，经直接计算便可获得连接权矩阵，所确定的连接权矩阵可使ＣＭＡＣ神经网络实现对样本的记忆     

基于卷积神经网络的掌纹识别方法

为避免在处理掌纹识别时人工提取掌纹特征,提出使用卷积神经网络(CNN)来处理掌纹识别问题。首先根据掌纹的几何形状特点进行预处理,切割出掌纹的感兴趣区域(ROI);然后将感兴趣区域进行归一化并组成一个二维矩阵作为卷积神经网络的输入;再使用批量随机梯度下降算法对网络进行训练,得到最优的网络参数;最后对测试掌纹进行分类识别,分类器使用Softmax。应用于香港理工大学掌纹数据库(v2)的掌纹识别率达到99.15%,单张掌纹的识别时间小于0.01 s,验证了方法的有效性。     

目标跟踪中基于深度可分离卷积的剪枝方法

为了减少跟踪网络中存在的参数量和计算量大的问题,提出了基于深度可分离卷积的剪枝方法。深度可分离卷积将跟踪网络中的传统卷积层分解为逐点卷积和逐层卷积两部分。在逐点卷积中,通过逐点卷积层中权重的大小来评估输入特征图通道在线性组合中的重要程度,将较小的权重及其关联的特征通道裁减掉。在逐层卷积中,通过K-L散度来衡量逐层卷积中滤波器的相似性,将相似的滤波器裁剪掉,减少冗余。通过上述方法进行多轮迭代剪枝,从而减少跟踪网络的参数量和计算量。在VOT数据集上的实验结果表明,在精度没有下降的前提下,剪枝后网络的参数量下降了22.54%,计算量下降了17.8%。在NVIDIA TX2设备上的实验结果表明,剪枝后网络的跟踪速度在CPU上提升了14.95%,在GPU上提升了13.07%。     

联合加权聚合深度卷积特征的图像检索方法

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。     

基于改进的SqueezeNet的人脸识别

针对众多基于卷积神经网络的人脸识别技术在追求提高人脸识别率上,忽视了网络模型输入参数,导致模型输入参数多、训练时间长和无法在内存小的硬件上运行等问题,提出一种基于改进的Squeeze Net的人脸识别模型。改进的Squeeze Net模型保留了原网络模型中的小卷积核去提取图片特征,还采用首尾池化层分别引入对应的后续卷积层进行特征融合,提取细微的人脸纹理特征来稳定模型收敛性,防止小的卷积核在复杂的人脸训练集上产生过拟合。针对分类函数Softmax的改进,采用L2范数约束的方法,将最后一层的特征约束在一个球面内,减少相同特征间距,提高网络收敛能力。通过两种改进后的Squeeze Net模型在与其他的先进模型对比,在不降低人脸识别准确率的前提下,具有输入参数少、模型易于收敛和能够运行在内存小的硬件设备的优势。结果在CASIA-WebFace和ORL人脸库上得到了有效性的实验验证。     

基于TF-IDF的卷积神经网络新闻文本分类优化

针对使用词语级别的预训练嵌入向量初始化卷积神经网络的嵌入层在计算资源有限时存在内存溢出和训练时间长的问题,对新闻文本作出假设:去除部分不重要的词语不会影响最终分类效果,并基于TF-IDF提出一种类别关键词提取方法。通过提取类别的关键词减少词表,进一步减小嵌入矩阵的大小。在THUCNews数据集上进行的实验表明:当嵌入矩阵参数减少近89%时,在CPU的训练时间减少约49%,模型大小减少约87%,分类性能不受影响。     

基于卷积神经网络的在线评论情感分析模型

针对标准卷积神经网络在文本情感分析过程中忽略了句子的整体结构信息的缺陷,本次研究在卷积神经网络的输入端加入注意力机制,提出了基于双通道输入的分段池化卷积神经网络模型(AF_CNN模型),该模型既能够有效提取文本局部最优特征,又能够捕捉到上下文词语之间的相关性。针对体育新闻评论情感分析的实验结果表明,与标准的卷积神经网络模型相比,本次研究提出的AF_CNN模型在分类准确率、召回率和F_1值等评价指标上,分别提升了3.40%,0.47%,1.96%。