区分自编码网络及其在滚动轴承故障特征提取中的应用

针对传统自编码网络在特征自动提取过程中仅以重构误差最小为目的而导致的分类信息模糊问题,提出了一种区分自编码网络。该网络在自编码网络的隐层连接一个全连接层,加上Softmax分类器,将分类器的输出与标签信息的交叉熵添加到原始的损失函数中,以该复合损失函数最小为目标对网络进行训练。将上一层区分自编码网络的隐层作为下一层区分自编码网络的输入,依次堆叠形成堆叠区分自编码网络。运用改进前后的堆叠自编码网络进行滚动轴承故障特征自动提取,分别在实验室定转速和变转速多载荷数据集上进行了测试。定量计算改进前后网络提取特征的类内距和类间距,区分自编码网络将类内距减少8.26%,类间距增加23.02%。运用3种常用分类器对两种网络提取的特征和42个人工提取的特征分别进行故障分类,结果显示,在定转速数据集上,区分型网络提取的特征和人工提取特征的分类效果相当,均高于传统型网络提取的特征;但是在变转速多载荷数据上,区分型网络提取的特征明显优于另外两类特征。定量计算和故障诊断的结果表明,区分型网络具有良好的不随工况变化的特征自动提取能力。提出的区分型自编码网络可广泛应用在机械故障诊断的特征提取阶段,为工程技术人员实现特征自动提取提供了一种解决方案。     

基于卷积神经网络的食品图像识别

针对传统食品图像识别方法提取特征能力差、准确率差、运行效率差和卷积神经网络识别相似食品图像难度大等问题, 提出了一种新的食品图像识别模型ChinaFood-CNN, 以实现对食物的精准分类; 在多分类损失函数SoftmaxWithLoss的基础上, 针对食品图像类间相似性大的问题, 提出了最大类间距损失函数(MCSWithLoss), 以增大相似类之间的距离, 实现相似类的区分; 针对随机选取样本时的训练集冗余问题, 在网络模型训练时使用负样本选择算法.实验结果表明:ChinaFood-CNN模型对食品图像的识别准确率达69.2%, 分别比AlexNet、VGG16、ResNet模型提升了17.6%、16.8%和3.6%.     

基于残差网络的掌纹识别研究

为了探索深度学习在掌纹识别领域的应用,提出了一种利用残差网络技术自动提取掌纹特征的方法,该方法根据掌纹的几何特征对掌纹图像进行预处理,将预处理后的掌纹图像进行归一化得到一个二维图像矩阵,作为残差网络的输入,再利用随机梯度下降算法对网络进行迭代训练,获取最优的网络参数,最后使用分类器Softmax对掌纹进行分类识别.模型在香港理工大学的掌纹数据库上进行了实验验证,实验结果证实了利用残差网络对掌纹进行分类的可行性,并取得了不错的分类效果.     

基于改进残差网络的癫痫脑电自动识别算法

为了提高癫痫脑电图(EEG)的识别精度，提出一种基于改进残差网络的癫痫脑电自动识别算法。首先对EEG信号进行归一化，然后利用改进的残差模块构建一维深度残差网络，将其用于自主学习EEG的内在特征，最后利用Softmax分类器实现癫痫的自动识别。为了评估模型的性能，采用十折交叉验证对波恩大学的癫痫数据集进行实验。实验结果表明，该算法能够有效识别癫痫EEG类别，具有较高的识别准确率。     

基于卷积神经网络的合成孔径雷达图像目标识别

为了解决现有合成孔径雷达(SAR)图像目标识别算法识别率不高、泛化能力不足的问题,提出一种基于卷积神经网络的SAR图像目标识别模型CMNet网络。通过设计针对SAR图像特点的特征提取网络,在损失函数中引入中心损失与Softmax损失联合监督训练过程,兼顾类内聚合和类间分离,提高算法精度和泛化能力。网络模型中所有卷积层后引入批量归一化层加快模型收敛速度、防止过拟合。实验使用美国运动和静止目标获取与识别数据库进行测试,10类目标平均识别率达到99. 30%。结果表明,提出的CMNet网络模型具有较高的识别率和泛化能力,在公开数据集上取得较好结果。     

基于DenseNet的人脸图像情绪识别研究

针对人脸情绪识别类内差异大,类间差异小的特点,结合学生人脸图像的线上课堂情绪识别的场景,提出多尺度空洞卷积模块提取不同空间尺度特征的稠密深度神经网络模型,实现自然场景下学生人脸图像识别.该模型主要由多尺度空洞卷积和DenseNet神经网络两个子网络组成,其中多尺度空洞卷积由不同空洞率的四分支网络提取不同尺度特征,空洞卷积减小特征图尺寸,减少DenseNet内存资源占用;最后在DenseNet网络中结合Adam优化器和中心损失函数.使用稠密网络的旁路连接,加强情绪特征传递和复用.研究结果表明：基于稠密深度神经网络的情绪识别网络模型能够有效提高情绪分类的准确率,模型对预处理后的FER2013+数据集识别准确率达到93.99%,可为线上教学反馈提供技术支持.     

深度卷积神经网络的判别性人脸识别算法

针对Softmax(柔性最大值)损失对特征只有可分性的不足,提出一种基于深度卷积神经网络的判别性人脸识别算法.该算法首先根据Softmax损失特征分布,在特征和权重向量间施加一个类内余弦相似性损失,使类内更加紧凑,类间尽可能分离;然后在Softmax损失基础上通过归一化特征来更好地模拟低质量人脸图像,并通过归一化权重来减轻类别不平衡,使与测试时的余弦相似性度量一致;最后联合归一化的Softmax损失和类内余弦相似性损失在预训练模型上进行微调.该算法在人脸识别基准测试集LFW(户外人脸标记)和YTF(You Tube人脸数据库)上分别取得了98.72%和93.38%的识别率,实验结果表明:在大规模人脸身份识别中,该算法提高了特征的判别性,增强了模型的泛化能力,能有效提高人脸识别率.     

融合注意力机制的淡水鱼类识别方法

针对多数淡水鱼类识别方法特征的提取进程复杂,在自然外部场景下很难进行高效识别问题,构造了残差模型及注意力机制相融合的ResNet50-SE-Fish网络对不同发育程度的8种淡水鱼类进行识别,并测试构造的网络识别性能.研究在原残差块内添加SE模块,增加所关注特征数据权重,减小外部场景噪声以及背景无关特征数据权重,并使用迁移学习来对不同发育程度幼鱼、成鱼特征数据进行识别.通过Grad-CAM方法对ResNet50-SE-Fish网络每个残差块提到的淡水鱼类特征数据可视化以解释注意力表示作用,并与7种常用网络所提到的热力图比较,以评估网络对淡水鱼类特征数据提取能力.结果表明,ResNet50-SE-Fish网络对不同发育程度淡水鱼类有很高的识别精度,验证时准确率高达95.53%,测试时准确率达90.16%,相较于AlexNet、VGG16、ResNet18、GoogleNet、VGG19、ResNet34、ResNet50,测试时准确率依次增大14.93%、6.32%、2.51%、3.55%、3.69%、2.14%、1.73%,注意力机制利用调节通道关注程度能够提高模型淡水鱼类特征的提取效果...     

中心损失与Softmax损失联合监督下的人脸识别

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。     

基于最大池化稀疏编码的煤岩识别方法

针对现今煤岩图像识别方法的缺乏与不足,为了挖掘新的煤岩图像识别方法以及更好地处理高维煤岩图像数据,提出了基于最大池化稀疏编码的煤岩识别方法.本方法在提取煤岩图像特征时加入了池化操作,在分类识别时采用了集成分类器,即多个弱分类器组成一个强分类器.实验结果表明:最大池化稀疏编码的特征提取方式能简单有效表达煤岩图像的纹理特征,大大增强煤岩图像的可区分性,获得较高的识别率,并且具有良好的识别稳定性.研究结果可为煤岩界面的自动识别提供新的思路和方法.     

改进残差网络与峰值帧的微表情识别

目的 微表情(Micro Expression, ME)是人们流露内心情感时展现出的细微面部表情。针对微表情识别的样本较少且不同类别数量分布不均导致难以识别和识别准确率较低的问题,提出能够提高微表情识别准确率的模型框架。方法 提取微表情视频序列中含有更多关键表情信息的峰值帧;使用加入SE模块的改进残差网络SE-ResNeXt-50对微表情的峰值帧进行特征提取,其中SE模块可以更好地学习特征中的关键信息,ResNeXt通过分组卷积的方式用稀疏结构取代密集结构从而使结构更加简化,提升了识别效率。与此同时,使用Focal Loss损失函数可以更好地解决因微表情数据的不平衡带来的模型性能问题。结果 在微表情数据集CASMEⅡ上进行了仿真实验,可以发现改进的残差网络与峰值帧提高了微表情识别的准确率与F1值。结论 改进的残差网络与峰值帧可以降低数据集较少所带来的影响,使模型有着良好的拟合效果,同时改善了在不同类别上表现差异较大的问题,提升了微表情的识别准确率,对于微表情识别有着更好的识别性能。     

基于改进LeNet-5的街景门牌号码识别方法

以真实场景中拍摄的街景门牌号码图像数据集SVHN为研究对象,将卷积神经网络与支持向量机相结合,提出了一种基于改进LeNet-5的街景门牌号码快速识别方法.该方法首先对数据进行图像增强预处理,突出有效特征;然后,省去基本LeNet-5中的第3卷积层,并用SVM分类器代替最后输出层中的Softmax分类器,以简化网络结构的同时提高分类效率.在国际公开的SVHN数据集的实验结果表明,改进LeNet-5可以有效识别街景门牌号码,7h便可训练得出结构稳定的网络识别模型,识别率达到90.35%,提高了算法的综合效率.     

基于时空融合深度学习的工业互联网异常流量检测方法

基于流量异常发现网络中的攻击行为具有普适性优势,而传统的异常流量检测方法难以适应大量复杂的工业互联网流量特征提取,针对此问题提出一种基于时空融合深度学习的工业互联网异常流量检测方法。对类别不平衡的流量数据进行预处理操作,以形成样本分布较为均衡的流量数据集;使用融合聚合残差变换网络和门控循环单元的深度学习模型从空间和时间维度上提取流量数据特征,实现时空融合的流量数据特征的综合提取;通过Softmax分类器对流量数据进行分类。实验测试结果表明,所提方法具有较高的准确率和F1值,分别可达到94.7%和95.47%。与传统的异常流量检测方法相比,所提方法提高了对工业互联网异常流量数据的检测指标,且模型的运行时间相对较短。     

融合大核注意力机制的土壤种类识别网络

【目的】为解决因土壤图像纹理复杂、没有结构性特征导致的传统卷积神经网络模型难以提取其中关键性特征、识别准确率低的问题，提出了一种大核注意力(large kernel attention，LKA)机制模块与ResNet模型融合的土壤种类识别网络模型VAR(visual attention ResNet)，以解决土壤种类样本不平衡和难分类样本造成的模型泛化能力弱的问题。【方法】以ResNet为主干网络，在主干中引入LKA机制，减少其中的残差块，构建土壤种类识别网络VAR，并改进网络的焦点损失函数(Focal Loss)。【结果】1) 与传统模型ResNet18、ResNet34、VGG、GooleNet、VAN等相比，VAR模型在特定模型参数下对紫色土土壤图像数据集中土壤种类的识别精度更高；2) 用3种不同大小VAR模型之一的VAR_small与以ResNet18为主干并嵌入传统注意力机制SE、CBAM、ECA和SK的网络进行对比，实验结果显示LKA机制在土壤识别方面更加优秀；3) 改进的Focal Loss可让VAR更能注意到难分类的土壤图像样本。【结论】将LKA机制模块与ResNet模型融合的土壤种类识别网络模型VAR增强了网络提取土壤图像中关键性结构特征能力，同时还减少了网络参数，能更加有效地识别土壤种类。     

基于GRU-DRSN的双通道人体活动识别

人体活动识别(human activity recognizition, HAR)在医疗、军工、智能家居等领域有很大的应用空间。传统机器学习方法特征提取难度较大且精度不高。针对上述问题并结合传感器时序特性,提出了一种融合CBAM(convolutional block attention module)注意力机制的GRU-DRSN双通道并行模型,有效避免了传统串行模型因网络深度加深引起梯度爆炸和消失问题。同时并行结构使得两条支路具有相同的优先级,使用深度残差收缩网络(deep residual shrinkage network, DRSN)提取数据的深层空间特征,同时使用门控循环结构(gated recurrent unit, GRU)学习活动样本在时间序列上的特征,同时进行提取样本不同维度的特征,并通过CBAM模块进行特征的权重分配,最后通过Softmax层进行识别,实现了端对端的人体活动识别。使用公开数据集(wireless sensor data mining, WISDM)进行验证,模型平均精度达到了97.6%,与传统机器学习模型和前人所提神经网络模型相比,有更好的识别效果。     

基于空间变换双线性网络的细粒度鱼类图像分类

有效地识别水下各种鱼类目标具有重要的实际意义和理论价值.鱼类生存环境复杂,由于海洋的极端条件,水下鱼类图像的分辨率低,且图像类间相似度高、类内差异性大,并受光照、角度、姿态等的影响较大,这些因素使得鱼类识别成为一项具有挑战的任务.针对这些难点,提出了一个能够有效进行细粒度鱼类图像分类的深度学习模型.该模型包含空间变换网络和双线性网络两部分,首先利用空间变换网络作为注意力机制,去除图像背景中复杂的干扰信息,选择图像中感兴趣的目标区域,简化后续分类;双线性网络通过融合两个深度网络的特征图提取图像的双线性特征,使得对目标中具有判别性的特定位置有较强的响应,从而识别种类,该模型可以进行端到端的训练.在公开的F4K数据集上,该模型取得了最好的性能,识别正确率为99.36%,较现有最好算法DeepFish提高0.56%,此外,发布了一个包含100类共6 358张图片的新的鱼类图像数据集Fish100,该模型在Fish100数据集上的识别正确率高出BCNN算法0.98%.多个数据集上的实验验证了模型的有效性与先进性.     

基于线性降维技术和BP神经网络的热红外人脸图像识别

结合线性降维技术与BP神经网络对热红外人脸图像进行了识别研究.首先利用主成分分析和线性判别分析对热红外人脸图像进行图像降维及特征提取,然后将提取出的热红外人脸图像特征向量用于BP神经网络的训练,得到一个鲁棒性和容错性较强的分类器,用这个分类器对热红外人脸图像进行分类识别.实验结果表明,由于所提方法在提取便于分类的模式特征基础上,采用神经网络作为分类器代替特征向量间的欧氏距离判别,获得了较高的热红外人脸图像识别率.     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于CNN-BGRU的音素识别研究

音素是一个语言体系中最小的语音单位,音素识别在大词汇语音识别任务中不受词汇和语句的限制.因此,选择音素作为识别单元,建立基于CNN-BGRU的神经网络模型,实现音素语谱图的分类.首先,使用短时傅里叶变换生成音素语谱图作为模型的输入;其次建立CNN-BGRU模型,利用改进的VGGNet模型提取音素语谱图的特征,再使用双向门控循环单元(BGRU)实现音素语谱图的序列信息表示;最后,通过Softmax分类器实现音素语谱图的分类.实验使用TIMIT英语语音数据集进行音素语谱图识别,准确率达到98.6%,优于CNN(VGG16)、CNN-RNN、CNN-BRNN、CNN-BLSTM这4个模型.     

基于距离度量学习的SAR图像识别方法

针对合成孔径雷达（synthetic aperture radar,SAR）图像样本数据有限,且不同类别间的图像区分度不高导致识别困难的问题,提出一种应用于SAR图像识别的距离度量学习方法.该方法使用CNN网络得到图像的特征分布,利用LSTM网络加强图像间的关联性,基于余弦相似距离度量方法计算图像之间的匹配度,通过注意力机制后对结果进行分类.训练过程结合小样本学习的训练方式,采取预训练的策略进行实验.实验以公开的MSTAR数据集进行SAR图像识别,结果表明该方法准确率达到99.3%,比SVM方法提升2.5%.