基于多态蚁群优化算法的认知无线电动态频谱接入策略

为尽可能提高系统的网络收益及网络资源的利用率,针对原有蚁群算法搜索时间长、收敛速度慢及信息素单一等问题,提出一种基于时间效率的多态蚁群优化算法,借助信息素的增强型积累,为蚁群算法中蚂蚁的行动提供依据,并将其运用到认知无线电动态频谱接入中.以最大网络公平性和网络收益总和作为目标函数的仿真试验表明:改进后的算法能显著地提高系统的网络效益,保证系统的公平性,与此同时,节省了认知用户的搜索时间,使认知用户能更快速地接入可用信道,改进后的算法在加快收敛速度的同时,使得系统吞吐量也显著增加,提升了系统的整体性能.     

基于POMDP的贪婪算法次优频谱接入

在ad hoc网络中, 由于受硬件和能量的限制,在没有数据发送的情况下,次用户无法监控到频谱,不能执行全频谱的感知,因此,针对现有的机会频谱接入(OSA)算法大都基于信道状态具有完全知识的马尔科夫建模的情况,本文提出了基于部分可观察的马尔科夫(POMDP)的决策论方法,该方法综合考虑了机会频谱共享系统的感知和接入优化策略。由于受维数灾难的影响,本文设计了一种基于贪婪算法次优的频谱接入方法,并从理想感知和感知错误存在两方面进行仿真分析。结果表明,在POMDP模型下该方法能有效地避免主次用户之间的资源使用冲突,实现对频谱的有效利用。     

基于Q-learning的动态频谱接入算法研究

设计了一种基于Q-learning的动态频谱接入算法.该算法的利用Q-learning自适应能力强的优势,帮助认知用户感知合适的信道并接入,认知用户通过不断地与环境交互学习选择回报率最高的信道,实现频谱资源的二次利用.最后对该算法进行了仿真,仿真结果表明所提算法能够提高认知用户吞吐量,降低与主用户冲突概率,且能以较快的速度收敛,这对于解决频谱资源利用问题有着重大的意义.     

一种基于代理的动态价格模型及算法

利用回归树算法作为一种函数近似方法,发挥回归树在进行数值预测上的准确性及快速性,将Q学习和回归树算法组合在一起,改善单纯Q学习所需要的培训时间过长的缺点·详细分析了实际市场模型中使用基于回归树的Q学习算法来确定商品销售价格的策略·最后利用数值分析方法来说明此算法在实际应用中所获得的平均利润和培训时间两个参数的关系,并给出它们的关系曲线图·     

基于POMDP的认知无线电动态频谱接入算法

针对当前认知无线电动态频谱接入算法实现复杂度高的缺点,提出了在硬件受限制的情况下,基于部分可观察马尔科夫决策过程的动态频谱接入算法.该算法利用多次对外界信道的检测得到对外界环境的估计,然后根据此估计以当前和未来收益总和最大化为目标,实频谱接入,并实现了最优解和贪心法次优解.该算法比随机检测接入算法多获得约25%的带宽,贪心法的次优解在阶段数较少时与最优解性能非常接近.     

基于深度强化学习的卫星信道动态分配算法

在卫星通信系统中,频率和信道是十分珍稀的资源,针对如何利用可靠且高效的方法来进行资源的开发这一亟需解决的难题,提出了一种基于Q-learning深度强化学习的动态卫星信道分配算法DRL-DCA,该算法将卫星和环境交互建模为马尔科夫决策过程,通过环境的反馈提升卫星的决策能力,实现用户业务请求的高效应答,提升卫星通信的服务质量,降低通信阻塞发生概率。仿真分析表明该算法能够有效地提升通信的吞吐量,降低通信的阻塞率。     

基于动态延迟策略更新的TD3 算法

在深度强化学习领域中，为进一步减少双延迟深度确定性策略梯度TD3( Twin Delayed Deep Deterministic Policy Gradients) 中价值过估计对策略估计的影响，加快模型学习的效率，提出一种基于动态延迟策略更新的双 延迟深度确定性策略梯度( DD-TD3: Twin Delayed Deep Deterministic Policy Gradients with Dynamic Delayed Policy Update) 。在DD-TD3 方法中，通过Critic 网络的最新Loss 值与其指数加权移动平均值的动态差异指导Actor 网 络的延迟更新步长。实验结果表明，与原始TD3 算法在2 000 步获得较高的奖励值相比，DD-TD3 方法可在约 1 000步内学习到最优控制策略，并且获得更高的奖励值，从而提高寻找最优策略的效率。     

基于FL-MADQN算法的NR-V2X车载通信频谱资源分配

针对5G新空口-车联网（New Radio-Vehicle to Everything,NR-V2X）场景下车对基础设施（Vehicle to Infrastructure,V2I）和车对车（Vehicle to Vehicle,V2V）共享上行通信链路的频谱资源分配问题,提出了一种联邦-多智能体深度Q网络（Federated Learning-Multi-Agent Deep Q Network,FL-MADQN）算法.该分布式算法中,每个车辆用户作为一个智能体,根据获取的本地信道状态信息,以网络信道容量最佳为目标函数,采用DQN算法训练学习本地网络模型.采用联邦学习加快以及稳定各智能体网络模型训练的收敛速度,即将各智能体的本地模型上传至基站进行聚合形成全局模型,再将全局模型下发至各智能体更新本地模型.仿真结果表明：与传统分布式多智能体DQN算法相比,所提出的方案具有更快的模型收敛速度,并且当车辆用户数增大时仍然保证V2V链路的通信效率以及V2I链路的信道容量.     

基于UPF的中程飞行冲突探测

2000年,Prandini等建立了飞机位置的概率模型, 该模型将飞行扰动的方差作为全程飞行时间与路程的函数,基于此模型,他们提出了中程飞行冲突探测的随机化算法. 本文作者将飞行扰动作短时处理, 建立了包含雷达观测误差在内的一个更精确、更符合实际的概率模型, 并提出了基于UPF的中程飞行冲突探测算法.     

基于行动分值的强化学习与奖赏优化

针对强化学习算法收敛速度慢、奖赏函数的设计需要改进的问题，提出一种新的强化学习算法．新算法使用行动分值作为智能行为者选择动作的依据．行动分值比传统的状态值具有更高的灵活性，因此更容易针对行动分值设计更加优化的奖赏函数，提高学习的性能．以行动分值为基础，使用了指数函数和对数函数，动态确定奖赏值与折扣系数，加快行为者选择最优动作．从走迷宫的计算机仿真程序可以看出，新算法显著减少了行为者在收敛前尝试中执行的动作次数，提高了收敛速度．     

OFDM信号的相关比软合作检测

多用户合作检测是认知无线电用户用来提高对基本用户检测能力的重要手段。为了提高相关比检测在低信噪比下的检测性能,提出了一种基于相关比检测的软合作检测方法,该方法能够有效地检测出OFDM类型的基本信号。分析和仿真结果表明,这种方法不仅继承了相关比检测的恒虚警特性,而且检测性能大大提高,对噪声的鲁棒性也更强了。与能量检测的比较显示,该方法能够在不增加复杂度的情况下,在更低信噪比条件下工作,对噪声特性没有要求,非常适合应用于认知无线电技术。     

基于Q-学习的动态单机调度

针对当前基于Q-学习的Agent生产调度优化研究甚少的现状,利用Q-学习对动态单机调度问题在3种不同系统目标下的调度规则动态选择问题进行了研究.在建立Q-学习与动态单机调度问题映射机制的基础上,通过MATLAB实验仿真,对算法性能进行了评价.仿真结果表明,对于不同的系统调度目标,Q-学习能提高Agent的适应能力,达到单一调度规则无法达到的性能,适合基于Agent的动态生产调度环境.     

基于正常行为聚类的卫星通信网异常检测方法

针对卫星通信网中可能出现的因地球站被捕获、盗用、伪造和非法用户入侵等严重威胁卫星通信网自身安全的问题,提出通过对地球站正常行为聚类的方法实现卫星通信网的异常检测.提出了一种改进的KFCM(komel fuzzy C-means)聚类算法,对KFCM算法初始聚类中的确定做了优化,对聚类个数的确定做了改进.同时,在数据的预处理方面提出了一种主要属性的选择方法.通过几个经典数据集和卫星地球站真实数据的实验证明,该方法具有较好的检测效果,对于卫星通信网异常检测具有较高的实用性.     

基于Agent的DEVS形式化描述与算法实现

为了解决离散事件系统规范DEVS(discrete event system specification)中没有对智能行为提供直接描述方法的问题,将智能体(Agent)建模思想引入到DEVS中,提出了一种具备一定智能性和协作性描述能力的离散事件系统规范Agent-DEVS。该规范以并行DEVS为基础,状态元组被扩充成为Agent特征元组;增加了体现个体智能性的Agent模型元组;并将模型端口的输入、输出扩展成为体现社会协作性的Agent消息类型。另外,还给出了Agent-DEVS模型的实现算法,并将其应用于企业生产调度的仿真建模。算法分析与仿真试验表明,Agent-DEVS的优点主要体现在建模性能上,它可以描述更加复杂的智能行为和自治行为,在计算时间上对整体复杂性的影响不大。     

基于RMT的协作MIMO频谱感知

针对认知无线电技术中的频谱感知问题,将已经广泛应用于无线通信领域的随机矩阵理论（RMT）引入到多认知用户MIMO环境中,提出了基于随机矩阵理论的协作MIMO频谱感知算法。该算法不需要预知噪声的统计特性和噪声方差,而是利用大维随机矩阵特征值的极限分布特性进行频谱感知。新算法充分利用了协作技术及MIMO技术的优点来提高感知性能。理论分析和仿真结果均表明,新算法整体性能优于同类算法和典型的能量检测算法。     

水处理絮凝动力学及其效果的数值模拟

通过杯罐试验和对其内水流流态的数值模拟,分析了搅拌桨几何尺寸和搅拌桨入水深度对絮凝效果的影响.杯罐试验水样浊度为45～450 NTU,混凝剂为复合型聚合氯化铝.应用计算流体力学软件FLUENT对试验中不同水力学条件下的水流流态进行三维数值模拟,以计算所得的紊动动能k和有效能耗ε作为评价絮凝是否充分的指标.结果表明,数值计算所得的k和ε能合理解释絮凝搅拌桨的几何尺寸及其置于水中的高度对絮凝效果的影响.     

认知MIMO无线网络中的多买家动态频谱接入技术

研究了认知MIMO无线网络中基于博弈论的动态频谱接入技术,以使得具有不同风险偏好的次级用户(买家)可以动态地选择竞标策略,同时主用户也可以根据系统情况,自适应地调整拍卖机制。基于非合作博弈设计了一个有限离散博弈模型,该博弈至少有一个混合策略的纳什均衡。基于自动学习机的概念,设计了一个有限反馈的分布式随机学习算法。仿真结果表明,所设计的算法具有良好的性能,与传统的固定竞拍机制和随机的选择竞价策略相比,该算法能够帮助主用户获得更高的利润,且让次级用户根据自身的风险偏好,选择一个合理的竞拍策略。     

基于自适应随机接入的动态 D2D 发现资源分配机制

现有终端直通（device-to-device,D2D）中用户发现成功率低、发现范围小以及不能满足不同用户优先级的业务需求,针对上述问题,提出一种基于自适应随机接入的动态D2 D发现资源分配机制。该机制中具有高优先级的D2 D用户采用传统的随机接入方法向基站发送紧急请求信息;基站根据发送紧急请求信息的高优先级D2 D用户数,构建下一发现周期的发现资源分配信息。根据未成功选择发现资源块的次数,低优先级的D2 D用户自适应的在多信道时隙ALOHA（additive link on-line Hawaii system）和具有能量感知的多信道ALOHA接入机制之间进行切换。D2 D用户根据接收端的信干噪比大小,判断是否成功发现。系统级仿真结果表明,提出的机制与传统的随机信道接入机制相比,不仅能够满足不同优先级用户的业务需求,还能支持更高的发现成功率和更远的发现范围。     

一种基于滤波器组的快速自适应频域均衡方法

针对宽带地空通信中多径时延较大和信道时变的特点,提出了基于滤波器组频域均衡FB-FDE(filter banks for frequency domain equalization)的高速数据通信系统方案,并对其中所用的RLS(recursive least squares)自适应算法进行了有效的改进.不仅显著地加快了收敛速度,而且大幅度降低了计算复杂度.分析比较了FB-FDE和基于循环前缀的单载波频域均衡SC-FDE(single carrier-frequency domain equalization)两种抗多径衰落技术的主要性能特点,发现在信道利用率和信道时变的适应能力方面,前者都明显优于后者.理论分析和仿真试验均验证了该方案的可行性及其关键技术的正确性和有效性.