深度可分离卷积网络的驾驶状态识别算法

针对嵌入式设备内存小及多分类准确率低等导致驾驶员检测问题,提出经过深度可分离卷积网络改进而成的,快速下采样网络(fast downsampling network,MF-Net)驾驶状态识别系统.即将快速下采样策略应用于深度可分离卷积网络,在12层内执行32倍下采样,以有效降低计算成本、增加信息容量并实现性能改进.实验结果表明:与VGG(visual geometry group)和ResNet 50等其他卷积神经网络(CNN)模型相比,所提出的MF-Net模型深度可分离卷积大大减少参数量,快速下采样方案的运用增加了网络的信息容量,不仅模型较小且在驾驶员状态分类方面能够表现出更好的性能.同时,信息容量的增加可以对更多信息进行编码,加深对图像内容的理解,有利于之后的嵌入式系统移植.     

针对能量差值嵌入的视频隐藏分析算法

能量差值信息隐藏（differential energy watermarking,DEW）算法通过有选择地舍弃视频图像中某些区域的部分高频DCT系数,形成能量差异而达到信息嵌入的目的．为此,利用视频序列时间域的强相关性建立针对性统计估计模型,侦测DEW算法所造成的载体信息统计特性变化,并结合K-S统计假设检验方法设计一种视频信息隐藏分析算法．结果表明,此算法能够有效地检测压缩视频码流中是否有DEW算法嵌入的特定信息．     

面向嵌入式应用的深度神经网络模型压缩技术综述

结合大数据的获取,深度神经网络关键技术广泛应用于图像分类、物体检测、语音识别和自然语言处理等领域.随着深度神经网络模型性能不断提升,模型体积和计算需求提高,以致其依赖高功耗的计算平台.为解决在实时嵌入式系统中的存储资源和内存访问带宽的限制,以及计算资源相对不足的问题,开展嵌入式应用的深度神经网络模型压缩技术研究,以便缩减模型体积和对存储空间的需求,优化模型计算过程.对模型压缩技术进行分类概述,包括模型裁剪、精细化模型设计、模型张量分解和近似计算和模型量化等,并对发展状况进行总结.为深度神经网络模型压缩技术的研究提供参考.     

基于深度学习的MIMO系统联合信号检测与信道译码

为进一步提高多输入多输出(multiple-input multiple-output,MIMO)系统性能,研究了深度学习方法来联合解决MIMO系统信号检测与信道译码问题.通过将深度神经网络、自动编码器神经网络与传统MIMO通信系统的物理层架构进行有机融合,构建了基于神经网络的MIMO系统模型,可获取系统发射端的信息比特或码字及信道状态信息,采用了端对端的训练方式,使不同神经网络模型可学习系统收发端的信息比特与码字的映射关系,联合实现了MIMO系统信号检测和信道译码,同时具有较低的复杂度.仿真结果表明,相比一些传统检测和译码算法,所提方法具有较优的检测和译码性能.     

基于深层迁移学习的DR胸片肺结核病灶检测

针对基于传统机器学习方法设计的DR胸片肺结核检测器存在着泛化能力不强,实际检测精度低等问题,提出了一种基于Focal Loss的深度学习检测方法Tuberculosis Neural Net(TBNN).医学图像的特殊性,存在带标注的数据量小导致无法充分训练深层网络模型等问题.该方法利用肺炎和肺结核同为呼吸道感染疾病且在DR胸片上有相似表征的特点,基于迁移学习原理训练特征提取子网络,减少肺结核胸片样本不足对模型训练造成的影响.首先在大型的肺炎胸片数据集上训练特征提取网络,以获取DR图像中丰富的深层图像语义信息,然后使用样本较少的肺结核数据集微调网络参数,并将多层卷积的输出作为TBNN分类子网络的输入,得到基于DR胸片的肺结核病灶检测模型.实验结果表明,该方法生成的检测模型在分类精度和性能上均优于基于传统机器学习的肺结核检测器.在同等训练数据量和训练周期下,模型性能高于其他采用传统数据增强方法的深层网络肺结核检测算法,且能标识病灶区域,准度上有不低于放射科阅片医生的表现.     

深度神经网络模型数字水印技术研究进展综述

近年来,深度神经网络模型在各种应用领域都取得了巨大的成功,训练先进的深度神经网络模型仍需要大规模的数据集、高昂的算力成本和优异的算法思想,生成的深度神经网络模型成为一种宝贵的资源,也是完成人工智能应用领域某项特定任务的核心算法。因此,深度神经网络模型的安全则变得极其重要,利用数字水印版权保护技术保障模型的安全已经成为人工智能安全领域一个重要的研究方向。为了综述深度神经网络模型数字水印版权保护技术的最新研究进展,首先介绍了深度神经网络模型数字水印技术分类;其次介绍了深度神经网络模型数字水印版权保护技术基础概况;再次归纳总结了深度神经网络模型数字水印版权保护技术的研究方法;最后总结并展望了深度神经网络模型数字水印版权保护领域的研究重点和发展方向。     

深度卷积神经网络的遥感植被检测方法

【目的】植被检测是城市生态研究的重要手段,然而由于遥感图像中植被存在阴影区域、遮挡区域以及色彩上的畸变等,导致当前的植被检测精度较低。基于遥感卫星影像,采用深度学习技术快速有效地检测出城市中的植被区域,为植被资源统计等相关研究提供依据。【方法】选用深度卷积神经网络模型,对高分辨率遥感影像中的植被区域进行检测。对不同的优化器,通过设置不同的卷积核大小,对精度进行对比分析。最后对网络层数进行研究,对设置合适网络层数进行分析,用构造的深度卷积神经网络在实验数据上进行植被区域检测。【结果】利用卷积神经网络处理二维图像时,无需手动提取特征,进行简单少量的预处理后,直接把图像输入到CNN模型中进行训练,即可实现图片的识别分类功能。降低了预处理的难度,同时局部感知和权值共享大幅度地减少了参数量,加快了计算速度。次抽样还能保证图像处理后的平移、旋转、缩放和拉伸的不变性。解决了传统方法计算量和样本量大、结构复杂以及费时的缺点。在采集到的高分辨率紫金山区域的遥感图像中,通过设计的多层卷积神经网络模型对区域中的植被资源进行分析,对比和研究不同的优化器、卷积核和网络层数,植被检测精度达到95.4%,明显高于当前众多植被检测算法。【结论】在深度学习中,目标检测的精度依赖于网络的结构设置,通过对优化器、卷积核以及网络层数进行设定,可以明显提高目标检测效率和精度。     

基于句法依存卷积神经网络的句子相似度计算

句子相似度计算是自然语言处理的一项基础任务,其准确性直接影响机器翻译、问题回答等下游任务的性能。传统机器学习方法主要依靠词形、词序及结构等浅层特征计算句子相似度,而深度学习方法能够融入深层语义特征,从而取得了更好效果。深度学习方法如卷积神经网络在提取文本特征时存在提取句子语义特征较浅、长距离依赖信息不足的缺点。因此设计了DCNN （dependency convolutional neural network）模型,该模型利用词语之间的依存关系来解决该不足。DCNN模型首先通过依存句法分析得到句子中词语之间的依存关系,而后根据与当前词存在一跳或者两跳关系的词语形成二元和三元的词语组合,再将这两部分信息作为原句信息的补充,输入到卷积神经网络中,以此来获取词语之间长距离依赖信息。实验结果表明,加入依存句法信息得到的长距离依赖能有效提升模型性能。在MSRP （microsoft research paraphrase corpus）数据集上,模型准确度和F1值分别为80.33%和85.91,在SICK （sentences involving compositional knowledge）数据集上模型的皮尔森相关系数能达到87.5,在MSRvid （microsoft video paraphrase corpus）数据集上模型的皮尔森相关系数能达到92.2。     

轻量化二维人体骨骼关键点检测算法综述

随着移动设备和嵌入式设备的发展,对二维人体骨骼关键点检测网络提出了更高的要求。设计轻量化神经网络是解决网络参数量大、计算量大的重要方法。首先,介绍了基于神经网络的二维人体骨骼关键点检测主流方法和轻量级神经网络;然后,对近几年基于神经网络的轻量化人体姿态估计方法进行了分类和总结,根据神经网络轻量化方式将二维骨骼关键点检测方法归成四类：轻量化特征提取网络、深度可分离卷积、Dense连接机制和Lightweight 瓶颈快,并分析了它们的优缺点和轻量化手段;最后,介绍了常用的评价指标,并对改进后的轻量化方法进行了实验数据对比,并结合当前研究所面临的挑战及未来的发展趋势进行了总结和展望。     

二分类判别网络的对抗样本检测

在原始图像数据集中,添加特殊的细微扰动能形成对抗样本,经这类样本攻击的深度神经网络等模型可能以高置信度给出错误输出,然而当前大部分检测对抗样本的方法有许多前提条件,限制了其检测能力.针对这一问题,该文提出一个二分类判别网络模型,通过多层卷积神经网络来提取样本数据的主要特征; 应用特殊的判别目标函数,结合不同程度的噪声数据来训练并优化网络模型,以提高模型检测对抗样本的能力; 模型采用端到端的方式,可直接部署到目标模型的源样本中来检测对抗样本的存在,亦可进行大规模应用.实验结果表明:该模型的检测率优于其他相关模型.     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计，对网络学习到的通道间深层特征相关性的研究较少，没有充分利用神经网络提取表达力较强的特征。为解决此问题，设计了一种基于二阶有效通道注意力网络（second-order efficient channel attention network，SECA-Net）的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征，使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征，进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类，该模块具有较少的参数量、较低的显存需求和计算量，并且没有使用额外的数据预训练模型。同时，所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明，提出的方法是有效的。     

基于优化DeepLabv3+的混凝土梁裂缝分割及特征量化

目前基于深度神经网络的裂缝分割模型存在着训练参数多、裂缝边缘分割粗糙、分割精度不足、缺少深度特征语义信息等问题。为解决以上问题，对目前分割性能较好的DeepLabv3+模型进行研究，嵌入Non-local注意力机制并改进了主干网络Resnet101得到优化模型DeepLabv3+(N-S)，最后基于优化模型的输出并使用裂缝骨架提取的方法来量化裂缝特征参数。使用的数据集为自制的混凝土梁裂缝图像数据集，并对优化前后模型作对比实验，分析了模型在各项性能上优化的有效性，并使用实测数据来验证评估裂缝各项特征参数量化方法。实验结果表明，DeepLabv3+(N-S)网络在数据集上的mPA 、mIoU达到了88.86%、82.04%，较于原模型分别提高2.21%、2.54%，裂缝分割效果优于原模型，且裂缝样本各项特征参数量化的平均误差为+8.7%，低于原模型，可满足工程上的检测精度需求。     

基于ROAMP-Net的大规模MIMO系统智能信号检测方法

针对大规模多输入多输出(multiple-input multiple-output,MIMO)系统存在的信号检测计算复杂度高、检测精度不足等问题,参考OAMP-Net算法思想,引入残差结构,提出了一种新的智能信号检测网络模型ROAMP-Net。将正交近似消息传递(orthogonal approximate message passing,OAMP)估算信号的迭代过程展开为深度学习网络,同时引入残差结构,分别对各网络层的线性和非线性估计值进行逐层修正,有效防止估计误差的前向传播和过程积累,避免网络模型随着网络层数增加而发生性能退化,从而提高最终信号检测的准确度。针对不同调制方式和不同天线阵列的系列仿真实验结果表明,不同调制方式和天线阵列下ROAMP-Net在检测准确度上均有不错的性能表现。     

基于DCGAN和改进YOLOv5s的桥梁表面缺陷检测识别

针对人工检测桥梁表面缺陷存在精度低、速度慢和漏检率高等问题,该文提出了基于深度卷积生成式对抗网络(deep convolutional generative adversarial networks,DCGAN)和改进YOLOv5s的桥梁表面缺陷检测识别模型.首先,通过DCGAN网络对自主采集的桥梁表面缺陷图像进行数据增强,建立每类缺陷样本数量较为均衡的数据集; 其次,在YOLOv5s模型基础上嵌入CBAM注意力机制模块,使模型将注意力集中于缺陷区域,从而提升图像分类的准确率; 最后,为验证所提方法的适用性,将包含4类桥梁表面缺陷的数据集进行训练与测试.实验结果表明:该文提出的模型在桥梁表面缺陷检测上的准确率为92%,相比其他深度学习模型具有更高的检测精度和鲁棒性.     

基于小波纹理分析的隐写分析研究

提出一种基于模型的隐写分析技术．图像的小波子带分解系数纹理可以建模为两参数广义高斯分布．同时采用极大似然方法进行两个参数的估计．分析发现隐写将改变图像的纹理特性,从而可以从子带分布模型参数的变化中判断是否隐藏信息．采用神经网络、支持向量机,回归分析和费歇尔判别分析分别进行比较验证．试验结果表明方法的有效性,同时对各分类器的性能进行了评价．     

基于Transformer神经网络模型的网络入侵检测方法

网络入侵检测一直以来都是网络安全中亟待解决的关键任务之一,传统网络入侵检测方法主要通过提取多维特征,采用机器学习方法构建检测模型,大多忽略了入侵行为的时间相关性.通过提取网络入侵行为的时序特征,设计基于降维特征的多头自注意力机制Transformer网络模型,以解决传统串行化时序神经网络模型不易收敛且时间开销较大的问题,通过选取最优的损失函数和训练参数进行并行化训练,实现网络入侵行为检测.实验结果表明,基于Transformer网络模型的网络入侵检测方法在多个数据集上均获得了99％以上的精度和检出率.     

基于小波变换的LSB替换的检测算法

最低有效位(leastsignificantbit,LSB)替换,有顺序和随机嵌入两种方式,现有的检测方法大多只针对其中一种方式,为了实现对顺序和随机嵌入的同时检测,该文采用数理统计的方法对灰度图像嵌入信息前后小波高频系数的变化进行了分析,建立了相应的线性回归模型;并采用基于内容的图像检索技术和机器学习的方法对模型进行了优化,以此来估计嵌入信息的长度。与RS(regularsingular)和Pairs典型检测算法相比,该方法不仅能检测明文和密文嵌入,而且对嵌入信息长度估计的准确性有所提高,实验结果表明绝对误差的均值不大于2.033%。     

基于深度学习的交通拥堵检测

针对交通拥堵检测,提出一种利用深度学习中卷积神经网络(convolutional neural network, CNN)对交通拥堵图像进行检测的方法。首先,使用基于TensorFlow框架设计了含有三层卷积层的神经网络分类模型。其次,利用道路拥堵与非拥堵图片对分类模型进行训练,并进行评估。最后,利用训练完成的模型进行道路拥堵检测,与多种深度学习分类模型分类方法进行对比实验,表明该卷积神经网络模型能够更有效地进行拥堵检测,检测准确率达到了98.1%。     

基于小波变换的LSB替换的检测算法

最低有效位(least significant bit,LSB)替换,有顺序和随机嵌入2种方式,现有的检测方法大多只针对其中一种方式。为了实现对顺序和随机嵌入的同时检测,采用数理统计的方法对灰度图像嵌入信息前后小波高频系数的变化进行分析,建立了相应的线性回归模型,并采用基于内容的图像检索技术和机器学习的方法对模型进行了优化,以此来估计嵌入信息的长度。与RS(regular singular)和Pairs典型检测算法相比,该方法不仅能检测明文和密文嵌入,而且对嵌入信息长度估计的准确性有所提高,实验结果表明绝对误差的均值不大于2.033%。     

基于HMM和自组织映射的网络入侵检测算法

随着网络入侵多样化的发展,传统的防火墙、数据加密等防御方法已经很难保证系统和网络资源的安全,为此,设计了基于隐形马尔科夫模型HMM和自组织映射SOM的网络入侵检测方法.首先建立了自组织映射-HMM的双层入侵检测模型,采用样本数据训练SOM网,然后将测试数据输入SOM模型获得观察序列对应的攻击类别的后验概率,将此后验概率用于训练HMM模型获得概率初始分布和状态转移概率等各参数.最后,通过比较测试数据在各模型下发生概率的大小来获取对应的攻击类别.仿真实验表明本研究方法能有效实现网络入侵检测,较经典的HMM方法以及改进的神经网络方法,具有较高的检测率和较低的误报率,同时具有较少的检测时间.