基于Dueling DDQN的无人车换道决策模型

针对高速公路场景中无人驾驶车的换道决策问题,提出一种基于竞争结构的双深度Q网络(DDQ N)的无人车换道决策模型.在深度Q网络的基础上,将无人车动作的选择和评估分别用不同的神经网络来实现,并将Q网络分为仅与状态S相关的价值函数和同时与状态S和动作A相关的优势函数两部分,使得Dueling DDQ N模型可以更好地理解外...     

基于深度Q学习的无线传感器网络目标覆盖问题算法

针对求解无线传感器网络目标覆盖问题过程中存在的节点激活策略机理不明确、可行解集存在冗余等问题,提出一种基于深度Q学习的目标覆盖算法,学习无线传感器网络中节点的调度策略.首先,算法将构建可行解集抽象成Markov决策过程,智能体根据网络环境选择被激活的传感器节点作为离散动作;其次,奖励函数从激活节点的覆盖能力和自身剩余能量考虑,评价智能体选择动作的优劣.仿真实验结果表明,该算法在不同规模的网络环境下均有效,网络生命周期均优于3种贪婪算法、最大寿命覆盖率算法和自适应学习自动机算法.     

基于改进双延迟深度确定性策略梯度法的无人机反追击机动决策

针对近距空战下的自主机动反追击问题,建立了无人机反追击马尔科夫(Markov)决策过程模型;在此基础上,提出了一种采用深度强化学习的无人机反追击自主机动决策方法.新方法基于经验回放区重构,改进了双延迟深度确定性策略梯度(TD3)算法,通过拟合策略函数与状态动作值函数,生成最优策略网络.仿真实验表明,在随机初始位置/姿态...     

面向工业物联网的短包安全通信资源智能分配算法

面向工业物联网业务的低时延与安全性需求,针对短包安全通信的设备高能耗问题,结合物理层安全技术的短包通信理论,提出了一种安全容量约束下带宽和功率的智能分配算法。考虑安全容量和总带宽约束,构建了工业物联网下短包安全通信的总功率最小化问题。根据优化目标和约束条件,设计了带宽资源决策的双深度Q网络和基于深度确定性策略梯度的功率资源分配网络。仿真结果表明,所提出的智能资源分配算法有效地降低了工业物联网下短包安全通信的总功率。     

一种基于熵特征的移动网络入侵干扰信号优化检测方法

提高对移动网络入侵干扰信号的检测,能够对无线网络的入侵信号进行快速有效地截获,保证网络的安全性.对通信入侵干扰信号的检测,需要设计熵特征检测器,给出通信入侵干扰信号检测门限,完成对网络入侵信号的优化检测.传统方法先对干扰噪声进行估计,对通信入侵干扰信号特征进行提取,但忽略了给出通信入侵干扰信号的检测门限,导致检测精度偏低.提出基于熵特征的移动网络中通信入侵干扰信号优化检测方法.该方法先基于概率统计方法提取干扰信号频谱特征,计算移动网络中所有幅值出现的总概率,利用经验模态分解方法分离出通信入侵干扰信号谐波分量,给出干扰谐波分量与目标回波在时频域上能量分布的特征差异,设计熵特征检测器,给出移动网络中通信入侵干扰信号检测门限,完成对移动网络中通信入侵干扰信号的优化检测.     

基于深度Q网络的云演艺延迟敏感业务QoE优化

网络中的资源分配问题一直备受关注,特别是在超高清视频流的传输中,对资源的有效管理至关重要。然而,随着网络服务的多样化和不断增加的业务类型,传统的资源分配策略往往显得不够灵活和智能。深度Q网络（Deep Q-Network,DQN）是一种能够自适应地学习和调整资源分配策略的神经网络模型。它基于神经网络与Q-Learning算法,通过不断尝试和学习来决策最佳的资源分配方案。本文旨在研究一种在云演艺场景下基于深度Q网络的延迟敏感业务资源调度算法,以满足当今网络中多样化的业务需求。仿真结果表明,基于深度Q网络的延迟敏感业务资源调度算法使得用户体验质量（Quality of Experience）指标显著提升,表明所提算法能够更好地满足延迟敏感业务的需求。     

异构网络下的一种动态干扰协调策略

给出了一种在异构网络场景下的干扰协调策略.首先,建立异构的网络框架,并在此基础上应用动态干扰协调策略,减少了小区间以及层间干扰,使系统获得更高的网络容量和数据率.简述了干扰协调策略的工作过程,并对此策略的性能进行仿真验证,仿真结果证实了系统性能的提升.     

车联网中基于深度强化学习的高可靠资源分配算法

针对车联网环境下用户通信质量下降以及频谱资源紧张导致车辆与车辆（vehicle to vehicle,V2V）链路的关键信息传输难以满足高可靠性通信需求的问题,提出了一种基于深度强化学习（deep reinforcement learning,DRL）的高可靠资源分配算法。考虑干扰、传输时延和有效传输概率等约束条件,构建了车联网的可靠性保障优化问题;为了进一步保障V2V链路关键信息传输的可靠性,设计了压缩网络来压缩环境状态信息;根据可靠性保障优化问题设计了相应的奖励函数,并基于双深度Q网络（double deep Q-network,DDQN）设计了一种智能资源分配策略。仿真结果表明,所提算法能有效提高车联网的总速率,实现V2V链路关键信息的高可靠传输。     

基于链路干扰模型的802.11s信道分配策略

从无线链路干扰的角度为802.11s定义的无线Mesh网络提出一种信道分配策略.首先在现有无线干扰模型和传播模型的基础上,通过仿真研究无线干扰对无线Mesh网络性能的影响;然后根据仿真结论提出无线链路干扰模型,同时利用无线Mesh网络流量呈现树状拓扑汇聚的特点对网络拓扑进行有序分解,从而划分出多跳链路干扰和单跳并行链路干扰;最后提出的802.11s信道分配策略的基本思想是采用循环交叉分配信道的方法尽量减少或消除无线多跳链路干扰.     

一种无线传感器网络动态多信道MAC协议

为了解决无线传感器网络内部节点干扰和外部Wi Fi网络干扰引起的服务质量下降问题,提出了一种动态多信道MAC协议DM-MAC.首先,通过3次握手机制和分布式计算方法为网络内节点分配初始信道.其次,构造拉丁跳频矩阵,节点根据初始信道号在矩阵中选取对应的跳频序列.在此基础上,利用状态转移图调整每个信道在跳频序列中的位置.当可用信道数量发生变化时,根据信道状态转移图生成新的拉丁跳频序列.最后,利用网络仿真软件NS2对DM-MAC通信性能进行分析.实验结果表明,与Mu CHMAC协议相比,DM-MAC能够有效地降低突发流量传输时内部节点间的干扰,以及外部Wi Fi干扰源对无线传感器网络性能的影响.同时,该协议改善了平均端到端延时和数据延时上限性能指标,提升了网络服务质量.     

能量收集通信系统中基于深度Q网络的最大化保密速率功率控制策略

研究由能量收集发射节点、目的节点和窃听节点组成的能量收集通信系统中,以最大化平均保密传输速率为目标的发送功率控制问题.在环境状态信息事先未知,且系统模型中信道系数、电池电量、收集的能量连续取值的场景下,提出一种基于深度Q网络(deep Q network,DQN)的、仅依赖于当前系统状态的在线功率分配算法.将该功率分配...     

无人飞行器通信链路抗干扰性能比较研究

由于超宽带通信技术的众多优点,将其应用在无人飞行器编队通信链路上是一个可行的选择。建立了部分频带干扰模型,通过理论分析和计算机仿真,对不同带宽的干扰信号、接收机采用不同的接收检测方式时,跳时-脉位调制超宽带通信系统的抗干扰性能进行了评估。分析比较发现采用软判决接收方式时的抗干扰效果优于硬判决接收方式;在干扰功率相同的情况下,干扰信号带宽越小系统性能越差。这些有益的研究结果为超宽带通信链路的参数选择提供了重要依据。     

面向IEC61850智能变电站的网络安全异常流量分析方法

为了保证智能变电站的网络通信安全和整个变电站的稳定运行,提出了一种基于机器学习k-means聚类算法的异常流量分析方法。根据智能变电站中过程层网络的特性,结合对IEC61850智能变电站专有GOOSE(generic object-oriented substation event)以及SV(sample value)协议的报文结构解析,使用了一种基于信息熵的特征选取方法对智能变电站正常工作时站内网络通信流量进行特征分析选择,利用k-means聚类算法完成了对异常流量的检测分析及其相关分析。相较于以往方法,文中方法对智能变电站的过程层网络流量信息的特征进行了选取,根据信息熵理论,完成了重要特征的选择和冗余特征的剔除,提高了聚类算法的效率,提高了对异常流量检测的准确性。     

照射箔条复合干扰对抗空空雷达主动弹方法

照射箔条复合干扰相比传统无源箔条干扰可提高战机自卫干扰能力,提高战场生存能力。为研究照射箔条复合干扰对空空雷达主动弹的干扰效果和战术使用策略,在一种典型空战对抗态势基础上,从速度干扰条件出发,对照射箔条复合干扰相对传统箔条干扰在频率特性上的优势进行了理论分析。在此基础上,提出在对抗空空雷达主动弹中,通过对转发干扰信号进行频率调制,并与载机机动配合的方法,增强复合干扰对雷达导引头的速度欺骗干扰效果。仿真结果表明:该方法可以起到良好的速度干扰效果,该方法具有较强的实践指导意义。     

一种基于卷积神经网络的雷达干扰识别算法

干扰识别是雷达抗干扰的前提,但是基于特征参数的识别方法受噪声影响大,且参数的特征提取只是发生在某一脉冲重复周期内,难以识别一些具有时序关系的干扰信号.然而利用特征去识别干扰的思路是可行的,据此,本文提出一种利用两个卷积神经网络级联的干扰类型判别方法,此方法基于信号的伪Wigner-Ville分布,分别利用单周期时频图像完成干扰预分类,多周期合成时频图像完成干扰细分类,实现了8种典型干扰样式的识别,尤其适用于拖引干扰的识别.实验结果表明,在本文生成的数据集上,8种干扰的平均识别正确率达到了98%以上.      

基于神经网络增强学习算法的工艺任务分配方法

在任务分配问题中,如果Markov决策过程模型的状态-动作空间很大就会出现"维数灾难".针对这一问题,提出一种基于BP神经网络的增强学习策略.利用BP神经网络良好的泛化能力,存储和逼近增强学习中状态-动作对的Q值,设计了基于Q学习的最优行为选择策略和Q学习的BP神经网络模型与算法.将所提方法应用于工艺任务分配问题,经过Matlab软件仿真实验,结果证实了该方法具有良好的性能和行为逼近能力.该方法进一步提高了增强学习理论在任务分配问题中的应用价值.     

常规雷达航迹干扰参数分析

对雷达的有源欺骗干扰是电子对抗中经常应用的重要手段。文中介绍了对常规雷达进行航迹欺骗时,干扰功率、角度干扰时延、距离干扰时延和多普勒频移等干扰参数的设置方法,给出了相关公式。利用这些公式,可描绘出虚假航迹,达到欺骗敌方雷达的目的。以此为依据设置干扰机参数,对雷达网进行干扰,可在组网雷达的每部雷达上产生空间相关的航迹,达到干扰敌方雷达网的目的。     

面向大型社会活动的智能交通控制策略研究

城市交通系统是由交通工具、交通路网、交通设施和交通运营管理组成的一个整体,良好的控制策略可以有效缓解道路拥堵,提高路网利用效率.为了缓解大型社会活动期间短时间交通需求激增对快速路网运营的压力,提出一种基于动态交通分配理论的智能交通控制策略.该策略以路网总运行时间最少为目标,通过宏观调节分流比例来进行优化控制,为交通控制与管理提供辅助决策依据.同时,讨论了适合模型求解的优化算法——序列二次规划算法,并针对上海快速路网特点进行仿真实验.仿真结果表明:智能交通控制策略可以有效改善路网的运行状态,减少路网的总运行时间,具有良好的实用价值.