基于知识蒸馏的差异性深度集成学习

深度神经网络模型在图像识别、语音识别等领域表现出了优异的性能,但高性能的模型对计算资源提出了更高的要求,存在难以部署于边缘设备的问题,对此提出一种基于知识蒸馏的差异性深度集成学习。首先对成员模型进行知识蒸馏,然后使用余弦相似度作为损失函数的正则化项对成员模型进行集成,最后得到训练好的模型。在MNIST(Mixed National Institute of Standards and Technology)和CIFAR10(Canadian Institute for Advanced Research)数据集上的试验结果表明,基于知识蒸馏的差异性深度集成学习在压缩模型的同时将模型的分类准确率提升至83.58%,相较于未经蒸馏的原始模型,分类准确率提高了4%,在压缩模型的同时提高模型的泛化性能。基于知识蒸馏的差异性深度集成学习打破了模型的压缩必然以泛化性能为代价这一认知,为模型集成提供了新的研究思路。     

基于深度残差网络的车标识别

针对车标识别准确率的问题,提出一种基于ResNet-18模型改进残差网络的车标识别算法.首先,利用残差网络并对其进行改进,使用改进的线性修正单元Leaky ReLU激活函数代替原激活函数;其次,调整传统的残差网络结构,将批量标准化和激活函数放在卷积层前,并减少网络参数以加速网络训练.实验结果表明,改进后的残差网络模型识...     

基于多任务深度卷积神经网络的人脸/面瘫表情识别方法

由于人类个体面部形态各种各样,使得不同人在表达同一感情时有可能产生较大的视觉差异,为了减弱这种内类视觉差异性对人脸表情识别产生的影响,该文提出一种分层多任务学习的人脸表情识别方法,该方法以现有深度卷积神经网络模型为基础,构造双层树分类器以替换输出层的平面softmax分类器,构建深度多任务学习框架,通过利用人脸表情标签和人脸标签共同学习更具辨识力的深度特征,将知识从相关人脸识别任务中迁移过来,从而减弱面部形态对表情识别的影响,提高表情识别性能。实验结果表明,相较于VGGnet,Googlenet和Resnet深度模型,文中提出的方法均提高了人脸表情识别率,且成功推广到面瘫表情识别问题中。     

基于深度学习的框架结构损伤识别研究

卷积神经网络模型和长短期记忆网络模型是两种应用广泛的深度学习网络模型,为探究两种模型在结构损伤识别应用中的效果,采用两种网络模型对钢框架结构的损伤识别进行研究.以3层框架结构为例,选用削减单元自身动力特性后的模态应变能差作为损伤指标,分别输入到两种神经网络模型中,对梁柱单元的损伤程度识别和损伤位置识别进行分析.结果表明：两种网络模型均能很快掌握结构单元的动力特性,在学习了框架结构的模态特征后,均能够精准地识别出损伤单元的位置,同时能较为准确地预测出单元的损伤程度,验证了两种网络模型在以模态应变能差为指标的损伤识别中具有较好的适用性.对比两种网络模型的表现,发现卷积神经网络具有较高的训练效率和较好的泛化性能.     

基于轻量化的高分辨率鸟群识别深度学习网络

针对机场低空区域鸟类对飞行器起飞和降落带来的安全问题,提出一种轻量型高分辨率的鸟群场景识别网络,用于实现鸟群的计数和定位．该网络以高分辨率网络为基础框架,使用非对称卷积和Ghost模块对网络进行轻量化,并在网络的第四阶段引入联合金字塔上采样模块,提升模型对多尺度特征的融合能力．进一步提出联合使用负样本抑制损失函数,用于监督网络的训练过程,使网络更加关注于鸟类目标．将所提出的模型在鸟群数据集上进行实验,实验结果表明：本方法可以有效对鸟群进行计数和定位,并在模型性能和模型参数量上达到了平衡．为进一步验证所提出方法的有效性,在两个人群数据集(Shanghai Tech,UCF-QNRF)上进行训练与测试,证明其具有较高的准确性和鲁棒性．     

基于深度学习的高维光谱分类识别研究

光谱分类识别一直是天文学家研究中的基础问题,也是LAMOST巡天计划的一项重要任务.从LAMOST发布的海量天体光谱数据库中选取F、G、K 3种型星光谱数据,采用深度学习模型进行分类识别研究和对比实验研究,解决原有方法对光谱分类可信度低的问题.实验结果证明:对于F、G、K 3种型星的分类精确度问题,深度学习方法明显优于原有其他分类方法.     

基于超限学习机的深度网络时间分组行为识别

为准确识别视频目标个体完整行为动作序列, 增强视频行为识别精度, 提出一种基于超限学习机的深度网络时间分组行为识别方法。 首先按照人体行为关键姿态个数明确行为识别模型的状态数量, 建立人体运动行为多尺度结构关联, 把运动轨迹及边缘轮廓小波矩的不同尺度特征引入行为模型中, 获取人体运动行为概略特征; 其次利用视频分组稀疏抽样法, 将视频分割成等时长分组, 运用标准反向传播法优化模型参数, 实现低成本视频级时间建模, 并确保建模过程信息完整性; 最后根据隐含层激活函数输出及对应输出层权重系数,得到灵敏度解析式, 按照灵敏度参数对隐含节点进行排序, 删除次要节点, 实现深度网络时间分组行为的精准识别。 仿真实验结果表明, 该方法具备较高水准的识别精度, 且耗时少, 拥有极强的鲁棒性。     

基于深度学习算法的航拍巡检图像的绝缘子识别

针对绝缘子检测目标在航拍图像中尺寸变化剧烈的问题,提出一种改进Faster R-CNN的绝缘子检测算法.首先将FPN特征金字塔结构网络与Faster R-CNN算法进行结合,将不同尺度下的特征进行融合;然后,改进最大池化层,提升检测框的坐标精度;针对遮挡现象,采用Soft-NMS算法规避不同目标检测框因重叠而被误删的情况.经过对绝缘子航拍数据集的检测验证,对比原Faster R-CNN网络,本改进网络结构提高了平均准确率(MAP),且可以更有效地识别图像中更小比例的绝缘子目标.     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

深度可分离卷积网络的驾驶状态识别算法

针对嵌入式设备内存小及多分类准确率低等导致驾驶员检测问题,提出经过深度可分离卷积网络改进而成的,快速下采样网络(fast downsampling network,MF-Net)驾驶状态识别系统.即将快速下采样策略应用于深度可分离卷积网络,在12层内执行32倍下采样,以有效降低计算成本、增加信息容量并实现性能改进.实验结果表明:与VGG(visual geometry group)和ResNet 50等其他卷积神经网络(CNN)模型相比,所提出的MF-Net模型深度可分离卷积大大减少参数量,快速下采样方案的运用增加了网络的信息容量,不仅模型较小且在驾驶员状态分类方面能够表现出更好的性能.同时,信息容量的增加可以对更多信息进行编码,加深对图像内容的理解,有利于之后的嵌入式系统移植.     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

深度卷积神经网络的判别性人脸识别算法

针对Softmax(柔性最大值)损失对特征只有可分性的不足,提出一种基于深度卷积神经网络的判别性人脸识别算法.该算法首先根据Softmax损失特征分布,在特征和权重向量间施加一个类内余弦相似性损失,使类内更加紧凑,类间尽可能分离;然后在Softmax损失基础上通过归一化特征来更好地模拟低质量人脸图像,并通过归一化权重来减轻类别不平衡,使与测试时的余弦相似性度量一致;最后联合归一化的Softmax损失和类内余弦相似性损失在预训练模型上进行微调.该算法在人脸识别基准测试集LFW(户外人脸标记)和YTF(You Tube人脸数据库)上分别取得了98.72%和93.38%的识别率,实验结果表明:在大规模人脸身份识别中,该算法提高了特征的判别性,增强了模型的泛化能力,能有效提高人脸识别率.     

基于深度学习的网络流量分类识别研究

目前互联网上会存在海量的网络流量数据信息,这些海量的网络流量数据信息还未得到充分性的利用,如果有效的采取一些必要的方法或者手段,分析整个的网络流量挖掘信息对于后期的网络发展趋势,挖掘网络当中所存在的异常状态并且有采取针对性的措施,这对于后期的网络应急响应能力的增强、抵御网络不法攻击行为、快速的维护网络空间安全等方面都具有非常重大的价值及意义.本文基于网络流量识别的基本需求,分析了深度学习经典模型-CNN的基本原理,在此基础上将原始流量进行分层处理,并建立了基于注意力机制的改进的CNN算法的网络流量识别模型,最后在国际标准数据集上进行仿真分析.实验测试结果表明,该模型可以实现对各类网络流量有效识别.     

基于深层神经网络(DNN)的汉语方言种属语音识别简

将深层神经网络（Deep Neural Network）应用于汉语方言种属语音识别.基于优化的QuickNet软件,为方言识别实现了一种有监督的DNN逐层预训练方法.在训练时,从3层开始逐层做有监督的神经网络训练,每增长一层的初始权值包含前一层训练好的部分权值和输出端的随机权值.在得到最大层的初始权值后,再进行传统的BP网络训练.该方法和普通神经网络相比识别率有较大提升,可用于移动互联网标准语音识别入口、方言口音鉴识等领域.     

基于深层神经网络(DNN)的汉语方言种属语音识别

将深层神经网络(Deep Neural Network)应用于汉语方言种属语音识别.基于优化的QuickNet软件,为方言识别实现了一种有监督的DNN逐层预训练方法.在训练时,从3层开始逐层做有监督的神经网络训练,每增长一层的初始权值包含前一层训练好的部分权值和输出端的随机权值.在得到最大层的初始权值后,再进行传统的BP网络训练.该方法和普通神经网络相比识别率有较大提升,可用于移动互联网标准语音识别人口、方言口音鉴识等领域.     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于深度卷积神经网络与中心损失的人脸识别

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。     

基于深度残差网络与迁移学习的地形识别方法

针对现有机器人基于深度网络的地形识别方法准确率低、网络训练时间长且需要大量训练数据的问题,提出一种基于深度残差网络与迁移学习的地形识别方法。首先,基于Resnet网络构建一种深度残差网络;其次,利用现有Imagenet大型数据集对构建的深度残差网络进行预训练,作为预训练网络,保留预训练网络除全连接层的训练权重,实现预训练网络大规模的参数迁移;最后,利用自建地形图像数据集对深度残差网络的全连接层进行训练,实现深度残差网络微调。实验结果表明,通过迁移学习的方法,利用深度残差网络对石子路、水泥路、砖地、沥青、草地、泥地6种自建地形图像进行分类,平均准确率达到了99.3%,同时网络训练时间也显著降低。     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。