深度强化学习在天基信息网络中的应用——现状与前景

未来天基信息网络(space information network, SIN)领域将面临由结构复杂、环境动态、业务多样等发展趋势带来的挑战。数据驱动的深度强化学习(deep reinforcement learning, DRL)作为一种应对上述挑战的可行思路被引入SIN领域。首先简要介绍了DRL的基本方法，并全面回顾了其在SIN领域的研究进展。随后，以星地网络场景的中继选择为例，针对大规模节点问题提出了基于平均场的DRL算法，并提出一种基于微调的模型迁移机制，用以解决仿真环境与真实环境之间的数据差异问题。仿真证明了其对网络性能优化的效果，且计算复杂度和时间效率均具有可行性。在此基础上归纳和总结了DRL方法在SIN领域的局限性与面临的挑战。最后，结合强化学习前沿进展，讨论了此领域未来的努力方向。     

一种多列特征图融合的深度人群计数算法

针对复杂开放环境下人群密度估计中的多尺度目标和小目标感知问题,提出了一种基于特征图融合的多列卷积神经网络的人群密度估计算法.所提出的特征图融合方式,一方面综合利用高层语义特征与底层细节特征,实现了对小目标的感知;另一方面大幅提高基础网络集成数量以应对目标多尺度问题,最终提高了人群密度估计的准确性.实验结果表明,所提算法有效提高了密集开放场景中人群计数的准确性.     

基于经验的分层路由流量控制策略

分布式拒绝服务(DDoS)攻击是当前互联网较严重的威胁之一,能在短时间内耗尽受害者服务器 的资源。基于分布式路由器的流量限制是一种应对 DDoS攻击的有效方法,在远离服务器的某些路由节点 上安装流量控制设备,以确保服务器的安全。由于现有的基于规则的策略或基于学习的策略与线性规划 (LP)策略之间存在较大差距,可以将 LP的策略视为专家,希望通过模仿专家的决策学习策略,但实验中效 果并不理想。对于小规模网络,提出了基于经验的 LP方法(ELP),先估算出正常流量的比例,再进行 LP的 求解。对于大规模网络流量响应问题,考虑存在通信延时,基于层次结构的策略(HELP)被提出用以减轻中 心路由器的通信压力,并且可以实现比直接 ELP(中心节点与所有节点通信)更好的性能。     

单实例分类算法研究

针对不平衡分类问题的极端情况,即用于训练的样本极少甚至只有一个实例,该文提出了一种单实例分类算法,这种方法使用球面作为分类面,在目标类的单实例在球内和反类尽量位于球面外的约束条件下,最大化该分类球面的半径,该方法能够有效地处理线性可分的数据分布.当输入样本分布结构呈高度非线性时,该算法通过核映射将低维输入空间中的非线性可分问题变换为高维特征空间中可能的线性可分问题,并以内积形式刻画,最终在特征空间上通过核技巧获得原问题的解决.通过对标准数据集和实际数据集的实验,验证了单实例分类算法在处理数据不平衡问题上的有效性.     

一种基于聚类分布的支持向量数据描述

在基于解决单类问题的支持向量数据描述算法基础上提出了基于聚类分布信息的c-SVDD算法.该算法对带野值的SVDD算法中的C值重新定义.通过增加核空间下测试样本的聚类分布信息。为每个样本定义一个特定的c值.c-SVDD算法适应于解决类别不平衡学习问题.该算法在保证少类样本高分类精度前提下,还有效提高了全样本的分类精度,更符合现实不平衡问题中对少类样本的处理要求.对UCI数据集和人工样本集进行实验.改进后的c-SVDD算法比带野值的SVDD算法AUC值平均提高0.14以上;比AdaBoost算法在正类查全率上平均提高40%,精确度也提高了至少5%.     

SOM在广域网故障诊断中的应用

为了提高网络管理重要组成部分的故障管理能力,通过对性能数据和故障征兆的推理来确定故障源,针对WAN(wide area network)的故障传播特征提出了一种基于自组织特征映射 SOM(self-organizing maps)的网络故障诊断模型,该模型包括SOM训练模块和故障实时诊断模块.仿真实验表明,采用该模型进行4种故障诊断,故障识别率达到95.82%,而误警率只有3.96%,说明在WAN中采用基于SOM的故障识别方法效果良好.     

PIDI-FGSM:一种对抗样本生成的梯度处理新方法

深度神经网络在多种模式识别任务上均取得卓越表现,然而相关研究表明深度神经网络非常脆弱,极易受到对抗样本的攻击。且人眼不易察觉的对抗样本还具有迁移性,即针对某个模型生成的对抗样本能够使得其他不同的深度模型也产生误判。主要研究提升对抗样本的迁移性,提出了基于PID控制优化器的快速梯度符号方法（PIDI-FGSM）,用于替代原有的基于动量优化器生成方法（MI-FGSM）。不同于MI-FGSM只累加一阶动量项,PIDI-FGSM同时考虑当前梯度、一阶动量项和一阶微分动量项。此外,PIDI-FGSM经过相应变化后,可与现有其他对抗样本生成方法相结合,在不需要额外运行时间和运算资源的情况下大大提高了对抗样本对于黑盒防御模型的攻击成功率。在ImageNet数据集上的实验表明,结合了PIDI-FGSM的对抗样本生成方法能够更快速地生成攻击成功率更高的对抗样本。通过提出最强攻击组合NI-TI-DI-PIDM2,对6个经典黑盒防御模型的平均攻击达到87.4%的成功率,比现有的动量方法提高3.8%,对3个较为先进的黑盒防御模型的平均攻击达到80.0%的成功率,比现有的动量方法提高4.9%。     

异常检测中单类分类算法和免疫框架设计

基于主机系统执行迹的异常检测系统可以检测类似U2R和R2L这两类攻击。由于攻击数据难以获取，往往只能得到正常的系统调用执行迹数据。该文设计了基于自组织特征映射的单类分类器的异常检测模型，只利用正常数据建立分类器，所有偏离正常模式的活动都被认为是入侵。通过对主机系统执行迹数据集的测试，试验获得了对异常样本接近100％的检测率，而误报警率为4．9％。该文将单类分类器作为抗体检测器，运用人工免疫学原理建立了分布式的异常检测框架，使入侵检测系统具有分布式、自组织和高效的特性，为建立分布式的入侵检测提出一种新的思路。     

一种基于规则和神经网络的系统在入侵检测中的应用(英文)

入侵检测技术是解决网络安全的一种有效手段。文中提供一个基于规则和神经网络系统的入侵检测模型。主要思想是利用神经网络的分类能力来识别未知攻击,使用基于规则系统识别已知攻击。神经网络对DOS和Probing攻击有较高的识别率,而基于规则系统对R2L和U2R攻击检测更有效。因此该模型能提高对各种攻击的检出率。最后对模型存在的问题及入侵检测技术的发展趋势做了讨论。     

基于半监督学习的单类分类器

半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。