基于变异粒子群优化与深度神经网络的航空弹药消耗预测模型

为了提高航空弹药的供应保障效率,将变异粒子群优化(MPSO)融入深度神经网络(DNN),研究航空弹药训练消耗预测问题。通过DNN确定网络各层的最优激活函数,基于MPSO参数寻优得到网络各层最优的权值和阈值,进而构建MPSO与DNN融合的航空弹药训练消耗预测模型。实验研究表明,该文组合预测模型在对5年数据的预测中均方误差为0.000 9,与粒子群优化-深度神经网络(PSO-DNN)模型、DNN模型以及反向传播神经网络(BPNN)模型相比具有更好的预测性能。     

基于防御蒸馏和联邦学习的安全深度神经网络研究

联邦学习(federated learning, FL)由谷歌于2016年提出的多方协作的机器学习方案,而深度神经网络(deep neural network, DNN)算法已经被证明在联邦学习中拥有很好的效果.然而,最近的研究表明,和其他机器学习技术一样,DNN也容易受到对抗样本的攻击.这种攻击严重的威胁了DNN所支持的系统的安全性,有些情况下可能会带来灾难性的后果.将DNN与防御蒸馏和联邦学习相结合,来降低对抗样本在DNN中的作用并保护用户的隐私安全,并使用稀疏三元(sparse ternary compression, STC)算法来减少在联邦学习中训练的通信开销.实验表明,与不使用STC的方案相比,使用STC的该方案在保证系统和数据安全的情况下,极大地减小了通信开销.     

基于量表大数据的深度神经网络抑郁分类模型

针对抑郁相关量表大数据所面临的特征冗余、特征维度单一、特征子集难以确定等问题,提出了一种基于深度神经网络（deep nural network,DNN）的抑郁分类模型．通过结合主成分投影k-means（principal component, PC k-means）,在不破坏原有特征空间的条件下对量表大数据进行特征选择,并对原始算法的随机性与聚类个数不确定的问题进行了优化;在此基础上,为了增强抑郁识别维度的多样性,构建了引入因子分解机（factorization machines,FM）的DNN抑郁分类模型．分析和对比结果表明:PC k-means不仅可以有效地选择特征,而且与传统分类器和FM-DNN结合,更能提高抑郁分类的准确率,为深度学习引入量表大数据分析提供了新的研究思路与方向．      

基于改进深度卷积生成对抗网络的入侵检测方法研究

针对入侵检测系统因采用的网络攻击样本具有不平衡性而导致检测结果出现较大偏差的问题,文章提出一种将改进后的深度卷积生成对抗网络(DCGAN)与深度神经网络(DNN)相结合的入侵检测模型(DCGAN-DNN),深度卷积生成对抗网络能够通过学习已知攻击样本数据的内在特征分布生成新的攻击样本,并对深度卷积生成对抗网络中生成网络所用的线性整流(ReLU)激活函数作出改进,改善了均值偏移和神经元坏死的问题,提升了训练稳定性。使用CIC-IDS-2017数据集作为实验样本对模型进行评估,与传统的过采样方法相比DCGAN-DNN入侵检测模型对于未知攻击和少数攻击类型具有较高检测率。     

深度学习:多层神经网络的复兴与变革

 人工智能（AI）已经进入一个新的蓬勃发展期。推动这一轮AI 狂澜的是三大引擎,即深度学习（DL）、大数据和大规模并行计算,其中又以DL 为核心。本文回顾本轮“深度神经网络复兴”的基本情况,概要介绍常用的4 种深度模型,即：深度信念网络（DBN）、深度自编码网络（DAN）、深度卷积神经网络（DCNN）及长短期记忆递归神经网络（LSTM-RNN）。简要介绍深度学习在语音识别和计算机视觉领域几个重要任务上的应用效果情况。为便于应用DL,介绍了几种常用的深度学习开源平台。对深度学习带来的启示和变革做了一些开放式的评述,讨论了该领域的开放问题和发展趋势。     

运用主成分分析和深度神经网络预测钢包炉合金元素收得率的研究

钢包炉（ladle furnace,LF）精炼的核心任务之一是进行钢水合金化过程,以保证钢包到达连铸平台后满足钢水成分要求。钢水合金化也是较为复杂的物理化学反应过程,其不仅对钢水温度有影响,而且对钢水质量、合金料消耗量均有影响。因此,实现LF精炼过程中合金元素收得率的精准预测具有重要意义。本研究首先采用主成分分析法（principal component analysis,PCA）对模型输入变量进行处理,用于简化实际生产数据结构;然后,融合SGDM算法和L2正则化方法,构建了深度神经网络（deep neural network,DNN）;最后,采用主成分分析和深度神经网络相结合的方法,建立了合金元素收得率预测模型。结果表明,Si元素收得率命中率在±1%, ±3%和 ±5%误差范围内分别为54.0%、93.8%和98.8%;Mn元素收得率命中率在±1%, ±2%和 ±3%误差范围内分别为77.0%、96.3%和99.5%。此外,PCA–DNN模型的预测精度优于参考炉次法、多元线性回归模型、改进BP神经网络模型和DNN模型,有助于实现钢水成分的“窄窗口”控制。本研究中合金元素收得率预测模型的建立,也可为LF智能精炼合金化控制模型的开发提供支撑。     

莱斯衰落信道下 MQAM 信号调制方式自动识别方法

针对受莱斯衰落影响的4QAM、16QAM、32QAM、64QAM、128QAM、256QAM六类信号,分别研究了卷积神经网络（CNN）模型以及特征参数结合深度神经网络（DNN）分类器模型的调制方式识别性能。CNN模型需要大量带标签的数据集以及很长的训练时间才能获得较好的识别性能,而特征参数结合深度神经网络分类器模型所需训练时间较短,但其分类性能受限于特征参数的设计。针对以上问题,研究了混合高阶矩作为特征参数集,再将DNN作为分类器对多进制正交幅度调制（MQAM）信号进行识别的方法。仿真结果表明,该方法在低信噪比情况下对受莱斯衰落影响的MQAM信号识别准确率高于CNN模型,且分类准确率上限明显高于采用高阶累积量作为特征参数的方法。     

基于CA-ResNet网络与nadam优化的入侵检测算法

[目的]针对深度学习模型在网络入侵检测中进行参数训练时因梯度消失而导致深度学习模型过拟合在测试集上准确率下降的问题.提出一种结合LeakyRelu激活函数与ResNet的网络入侵检测算法,即CA-ResNet,并采用nadam优化器对模型进行优化.[方法]该模型在DNN的基础上增加了网络的层次,结合了ResNet和LeakyRelu激活函数.[结果]解决了模型训练时梯度消失的问题,保证了该模型在测试数据集上的表现,使得训练的模型的泛化能力更强,同时通过增加网络的单层维度和总层次的深度,提高了网络的特征提取能力和对尺度的适应性.[结论]使用KDD Cup99数据中的Corrected数据集对算法进行验证.实验表明,该算法与CNN和CNN-BiLSTM算法相比具有更高的准确率和F1-score,准确率能够达到95.0％,F1-score能够达到97.5,时间复杂度为线性时间复杂度.     

多特征全卷积网络的地空通话语音增强方法

为了研究空中交通管理领域中的语音增强问题,并且节约存储资源,提出了一个新的语音增强方法.在基于全卷积神经网络(FCN)的基础上加入了跳跃连接(Skip Connection),并引入次要特征来进行联合学习.具体而言,使用语音的对数功率谱(LPS)作为网络的主要训练特征,引入对数梅尔倒谱系数(L-MFCC)作为网络的次要训练特征,来联合优化网络参数.实验证明,相较于单个LPS特征输入的架构,结合LPS和L-MFCC的多特征网络架构具有更好的语音增强性能表现,且作为次要特征的L-MFCC还可以用作其它用途.实验还证明,跳跃连接的加入可以很好的提高FCN的网络性能,且相较于基线的深度神经网络(DNN)模型,新的网络结构在相同参数数量的情况下,要具有更好的性能.     

采用通道注意力机制的RIS辅助MIMO级联信道估计

可重构智慧表面（RIS）辅助多天线毫米波无线通信系统的级联信道有直传和反射两条链路,系统维数大且复杂,获取信道状态信息（CSI）困难. 针对RIS辅助下的大规模多输入多输出（MIMO）通信系统应用场景,提出了基于通道注意力机制的SE-ResNetV2网络来获取CSI,在残差网络（ResNet）中引入了通道注意力模块,通过挤压和激励策略来提高噪声特征的捕捉能力. 仿真结果表明,相比于最小二乘（LS）估计算法和常规的注意力机制深度ResNet,所提出的深度学习网络具有更好的去噪效果和估计精度.     

基于深度Q网络的云演艺延迟敏感业务QoE优化

网络中的资源分配问题一直备受关注,特别是在超高清视频流的传输中,对资源的有效管理至关重要。然而,随着网络服务的多样化和不断增加的业务类型,传统的资源分配策略往往显得不够灵活和智能。深度Q网络（Deep Q-Network,DQN）是一种能够自适应地学习和调整资源分配策略的神经网络模型。它基于神经网络与Q-Learning算法,通过不断尝试和学习来决策最佳的资源分配方案。本文旨在研究一种在云演艺场景下基于深度Q网络的延迟敏感业务资源调度算法,以满足当今网络中多样化的业务需求。仿真结果表明,基于深度Q网络的延迟敏感业务资源调度算法使得用户体验质量（Quality of Experience）指标显著提升,表明所提算法能够更好地满足延迟敏感业务的需求。     

基于高阶图卷积自编码器的网络流量预测

网络流量预测是有效保障用户QoS措施之一。当前深度学习为基础的网络算法预测中没有充分利用网络拓扑信息。为此,提出了基于高阶图卷积自编码器的网络流量预测模型。该流量预测模型基于软件定义网络（SDN）架构,利用高阶图卷积网络（GCN）获取网络拓扑中的多跳邻域之间的流量相互影响关系,采用门控递归单元（GRU）获取网络的时间相关性信息,利用自编码模型来实现无监督学习和预测。在Abilene网络上采用真实数据进行了仿真对比分析试验,结果表明,提出的方法在网络流量检测方面的MAPE值为41.56%,低于其它深度学习的方法,同时预测准确率方面也达到最优。     

基于长短期记忆网络的电力系统扰动后的功率缺额预测方法

电力系统在发生发电机脱落或发电机母线断线等严重的有功不平衡扰动时,会导致频率骤降。提出一种基于长短期记忆（long short-term memory,LSTM）网络的电力系统扰动后的功率缺额预测方法。该方法无需获取实时的系统惯量,仅根据负荷侧的信息就能预测出扰动后系统的功率缺额,有效改善了现有的功率缺额计算方法。在IEEE-39节点系统上的仿真结果表明,本方法得到的功率缺额预测值与真实值的相对误差较小,预测时间较短。与深度神经网络（deep neural networks,DNN）和支持向量回归（support vector regression,SVR）算法的预测结果进行比较,本方法能快速、准确地预测出扰动后系统的功率缺额,对保障系统的频率稳定具有重要意义。     

在组播网络中设置复制服务器的算法分析

可靠的组播网络的主要任务是减少再传输的费用（像带宽使用和延迟），使用复制服务器的局部恢复方式对减少带宽和延迟等是有效的。在这篇论文中，我们为了要将全部再传输费用减到最少而研究复制服务器的最佳设置问题。我们特别地对一种典型的单服务器和多客户机（接收器）网络环境进行研究。我们通过使用动态的编程技巧去演示设置一个具有M个复制服务器的组播生成树的最佳算法法则。文中的最佳运算法则的深度是O（M2Nh），其中N是接收器的数目和h是组播生成树的深度。     

从弥散到收敛:一种学习与记忆的规律——神经思维科学研究Ⅱ

根据实验与理论有关研究，有效重复或练习导致贮存更巩固、提取效率增高的学习和记忆；应主要表达为：学习即脑神经网络从弥散到收敛动态的降维过程，学习是脑神经网络调节自身层级单元之间联权重－－易化程度的动态过程，特定的学习任务对应特定的易化程序。     

基于数据增强的DBN-ELM入侵检测方法

随着工业4.0时代的到来,工控安全事件频发,工控信息安全问题已经备受关注。由于工控环境较为复杂,导致传统机器学习方法在分类大量工控数据时存在收敛速度慢、泛化性较差以及数据分布不均衡等问题。为了解决此类问题,本研究采用一种基于WGAN-GP数据增强并运用深度信念网络和极限学习机相结合的深度学习入侵检测方法,本方法基于一种梯度惩罚的生成对抗网络数据增强并将深度信念网络（deep belief network,DBN）自动提取特征的能力与极限学习机（extreme learning machine, ELM）快速学习的能力相结合。采用加拿大网络安全研究所公布的 CICIDS2017 数据集对所提出的算法进行测试,经过对比实验证明了该方法精度更高,收敛速度更快。为了验证所提出算法在工控环境中的适用性,本研究同时采用密西西比州立大学天然气管道数据集进行验证,证明了该算法在工业环境中具有高精度、误报率低等优点,为工业入侵检测的研究提供了一种新的研究思路。     

一种元卷积网络和持续学习融合的洞库类目标识别方法

洞库类目标是高价值识别目标,针对洞库类目标样本数据难以获得、样本内部数据相似度较高、人工设计识别特征方法局限性较大、普通深度网络需要海量数据等问题,提出了结合元学习和深度卷积网络的元-卷积网络（MCNN）,并融合持续学习理论的洞库类目标识别方法（MCNN-LLS）.首先结合深度卷积网络、元学习的理论建立元-卷积网络,该网络可利用旧知识指导新知识的训练,利用小样本数据即可训练得到识别能力较高的深度洞库模型;然后融合持续学习理论,建立持续学习系统（LLS）,设计专家审核模型判别深度洞库模型的识别结果,并引入潜在任务、模型异步更新等方法,达到模型持续学习、持续更新的效果.实验表明,本文方法所需样本数量少,对洞库类目标识别准确率高,且识别能力可随识别过程中新数据的积累逐步提高.      

基于多GPU的深层神经网络快速训练方法

近年来,深层神经网络(deep neural network,DNN)被成功应用于语音识别领域,成为一种很具发展潜力的语音识别模型。然而,由于其训练算法复杂度高,随着训练数据和网络规模增大,DNN模型训练将非常耗时。为提高DNN的训练效率,该文研究了基于多图形处理器(graph-ic processing unit,GPU)的DNN快速训练算法。在TIMIT数据集上的音素识别实验显示:在基本保证识别性能的前提下,优化后的DNN快速训练方法在4个GPU下训练速度相比单GPU有约3.3倍的提升。实验结果表明该快速训练方法可以显著提升DNN模型的训练速度。     

CWGAN-DNN：一种条件Wasserstein生成对抗网络入侵检测方法

针对现有的基于机器学习的入侵检测系统对类不平衡数据检测准确率低的问题,提出一种基于条件Wasserstein生成对抗网络(CWGAN)和深度神经网络(DNN)的入侵检测(CWGAN-DNN).CWGAN-DN N通过生成样本来改善数据集的类不平衡问题,提升对少数类和未知类的检测效率.首先,通过变分高斯混合模型(VGM)对原始数据中的连续特征进行处理,将连续特征的高斯混合分布进行分解;然后利用CWGAN学习预处理后数据的分布并生成新的少数类数据样本、平衡训练数据集;最后,利用平衡训练集对DNN进行训练,将训练得到的DNN用于入侵检测.在NSL-KDD数据集上进行的实验结果表明:利用CWGAN生成的数据进行训练,DNN的分类准确率和F1分数提升了5％,AUC下降了2％;与其他类均衡方法相比,CWGAN-DNN的准确率至少提升了3％、F1分数和AUC提升了1％.     

基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate, CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction, SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network, DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。