基于多智能体强化学习的动态频谱分配方法综述

认知无线电和动态频谱分配技术是解决频谱资源短缺问题的有效手段。随着近年来深度学习和强化学习等机器学习技术迅速发展, 以多智能体强化学习为代表的群体智能技术不断取得突破, 使得分布式智能动态频谱分配成为可能。本文详细梳理了强化学习和多智能体强化学习领域关键研究成果, 以及基于多智能体强化学习的动态频谱分配过程建模方法与算法研究。并将现有算法归结为独立Q-学习、合作Q-学习、联合Q-学习和多智能体行动器-评判器算法4种, 分析了这些方法的优点与不足, 总结并给出了基于多智能体强化学习的动态频谱分配方法的关键问题与解决思路。     

基于SNR和谱熵的协作式频谱感知算法仿真研究

目前的频谱感知算法大多受到信道衰落、噪声不确定性等因素的影响,针对此问题,提出了一种基于SNR和谱熵的协作式频谱感知算法CSSE.1)CSSE算法选择具有最大SNR的节点作为中继节点转发信号进行协作频谱感知,有效的解决信道衰落带来的影响.2)CSSE算法采用谱熵检测主用户信号,有效的解决噪声不确定性带来的影响.提出的CSSE算法在不需要知道主用户信号先验知识的情况下,不但能够有效的缓解信道衰落、噪声不确定性带来的影响,而且具有较低的频谱感知时间,具有很好的实际应用价值.仿真结果表明,相比已有的频谱感知算法,不仅检测性能得到了比较大的提高,而且频谱感知的时间也减少了近40％.     

适用于异构QoS环境的伺机频谱接入策略设计

针对认知无线电网络(Cognitive Radio Network,CRN)中认知无线电(Cognitive Radio,CR)用户单信道伺机频谱接入问题,从既满足CR用户各异的QoS需求又不对主用户(Primary Radio,PR)产生干扰的角度,定义新的度量指标CRN有效吞吐量,并以CRN有效吞吐量最大为目标建立单信道伺机频谱接入模型.提出基于最小速率差额的接入策略,给出相应的信道和功率分配算法(Minimum Rate Gap-based Channel and Power Allocation,MRG-CPA),并设计MAC协议以实现分布式接入.仿真结果表明,与现有的降序最佳适应算法、降序首次适应算法和基于最小速率需求的功率分配算法相比,MRG-CPA不仅提供较大的CRN有效吞吐量,并且提高CR用户QoS保证率.     

基于信道分配的多跳认知无线电网络路由算法

现有认知无线电网络中路由算法没有综合考虑主用户的到达率和认知用户竞争使用信道对网络性能的影响。针对上述问题,结合认知无线电网络频谱动态变化的特性,提出一种基于信道分配的多跳认知无线电网络路由算法（multi-hop cognitive routing basedan channel allocation, MCRC）。MCRC算法先得到最大化总吞吐量的全局信道分配,然后考虑主用户使用授权信道的概率和认知用户竞争使用信道的概率,得到认知用户使用某个信道的概率,最后以信道的有效传输时延作为选路标准,根据Dijkstra算法选择最小时延的路径。性能评估结果表明,MCRC明显地减小了平均端到端时延,极大地提高了平均端到端吞吐量。     

认知无线电系统中三维联合频谱分配算法

为了减少对授权用户的干扰和降低认知用户之间的竞争,保证认知无线电系统正常通信,采用可靠性理论描述一个信道是否能够被认知用户所使用及被连续使用一段时间的概率。从空间、时域和频域3个方面联合起来研究频谱分配,仿真结果表明,三维算法的传输数据量和系统的总吞吐量的值优于贪婪算法和二维算法,有助于减少认知用户对授权用户的干扰和降低认知用户之间的竞争,表明所提算法的有效性。     

OFDM认知无线电系统中的自适应资源分配新算法

认知无线电能通过提高频谱资源利用率,来解决无线频谱资源紧缺的问题,正交频分复用(OFDM)被认为是能与认知系统完美结合的技术。提出了一种基于OFDM认知系统的动态资源分配算法。该算法从最大化次用户的总传输比特速率出发,在次用户总的发送功率限制和主用户的干扰门限限制下,基于构建的新的代价函数,运用改进的匈牙利算法进行子信道分配,然后根据次用户的需求,进行自适应比特和功率分配。仿真结果表明,该算法可以有效利用不同主用户频带间的频谱空穴,使次用户系统的吞吐量最大,同时保证各个主用户受到的干扰总量低于各自的干扰门限。     

基于强化学习的频谱决策与传输算法

在认知无线电(CR)通信中,各信道可能具有不同的带宽、干扰强度和主用户冲突概率,如何据自身业务特性选择最佳信道和传输策略是系统设计的关键问题之一.提出一种基于Q学习的在线学习算法,用于解决多用户多信道CR系统中的信道选择与自适应传输问题.在不知道信道状态信息和主用户业务特性情况下,通过在线学习,获得各种环境下的最佳频谱选择与自适应传输策略.为验证所提方法的有效性,采用随机频谱选择算法和最小干扰频谱选择算法与所提方法进行比较.仿真结果表明,提出的方法通过在线学习实现了认知无线电的自适应控制,能够有效增加认知无线电的通信性能.     

基于离散人工蜂群算法的认知无线电频谱分配

针对二进制粒子群优化算法在认知无线电频谱分配中容易陷入局部最优等问题,将人工蜂群算法引入到认知无线电频谱分配中,提出了基于离散人工蜂群算法的认知无线电频谱分配方法。针对一种认知无线电网络模型,将离散人工蜂群算法中的蜜源位置离散化,与模型中的可用频谱矩阵相结合产生分配矩阵,对目标函数进行优化,并且使用了一种新的比例公平性目标函数评价该算法的性能;通过仿真比较了本文算法与二进制粒子群优化算法的频谱分配方法的性能,同时在使用电视频段的认知无线电系统进行了验证,结果表明本文算法的高效性和优越性。     

控制信道受限的认知无线电联合频谱感知

在多用户认知无线电系统中,针对认知无线电用户合作频谱感知中联合检测性能的提高与控制信道带宽受限的矛盾,提出了一种基于能量检测的合作频谱感知方法。该方法放弃携带信息量较少的感知信息,并将携带信息量较多的感知信息量化后传送至数据融合中心。这种方法在兼顾认知无线电频谱感知性能的前提下,有效降低了控制信道开销。     

基于压缩感知的认知无线网络协作频谱感知技术

针对传统频谱感知算法受A/D器件物理瓶颈,硬件计算能力等限制难以实现宽频段授权用户实时检测的问题,将压缩感知技术应用于宽带频谱感知,建立了一个基于Xampling前端的新型协作频谱感知模型,在此模型基础上提出一种基于认知用户分组,纽内利用压缩感知技术进行信息融合,组间对各组检测结果进行判决融合,两者结合实现授权用户检测的新算法,并给出了认知用户的分组原则.与传统宽带频谱感知算法相比,该方法无需高速A/D,也不需要恢复原始信号,可有效降低宽带频谱感知的硬件复杂度,缩短频谱感知时间,仿真结果证实了新算法的有效性.     

Multi-band spectrum auction framework based on location information in cognitive radio networks

Cognitive radio(CR) technology is considered to be an effective solution to allocate spectrum resources,whereas the primary users of a network do not fully utilize available frequency bands.Spectrum auction framework has been recognized as an effective way to achieve dynamic spectrum access.From the perspective of spectrum auction,multi-band multi-user auction provides a new challenge for spectrum management.This paper proposes an auction framework based on location information for multi-band multi-user spectrum allocation.The performance of the proposed framework is compared with that of traditional auction framework based on a binary interference model as a benchmark.Simulation results show that primary users will obtain more total system revenue by selling their idle frequency bands to secondary users and the spectrum utilization of the proposed framework is more effective and fairer.     

Membrane-inspired quantum shuffled frog leaping algorithm for spectrum allocation

To solve discrete optimization difficulty of the spectrum allocation problem,a membrane-inspired quantum shuffled frog leaping(MQSFL) algorithm is proposed.The proposed MQSFL algorithm applies the theory of membrane computing and quantum computing to the shuffled frog leaping algorithm,which is an effective discrete optimization algorithm.Then the proposed MQSFL algorithm is used to solve the spectrum allocation problem of cognitive radio systems.By hybridizing the quantum frog colony optimization and membrane computing,the quantum state and observation state of the quantum frogs can be well evolved within the membrane structure.The novel spectrum allocation algorithm can search the global optimal solution within a reasonable computation time.Simulation results for three utility functions of a cognitive radio system are provided to show that the MQSFL spectrum allocation method is superior to some previous spectrum allocation algorithms based on intelligence computing.     

MC-NOMA增强型反向散射网络中的谱能效率均衡优化

环境信号的不确定性导致不可预测的谱能机会.传输机会和能源供应的缺乏给反向散射通信网络的多址接入设计带来了极大的挑战.本文针对多载波非正交多址接入(multicarrier non-orthogonal multiple ac-cess,MC-NOMA)增强型反向散射网络,提出了一种分阶段优化算法实现均衡调控下的谱能效率...     

太阳射电频谱爆发识别的元学习方法

太阳射电频谱图像在太阳活动和空间天气的观测、研究和预报中有着重要的作用。太阳射电宽带动态频谱仪是国内观测太阳射电信号的主要设备, 但受到窗口时间、观测设备和太阳活动规律的影响, 其所采集到的频谱数据存在有效样本量少的问题。针对这一现状, 提出了一种基于元学习和迁移学习的少样本学习方法, 用于改善太阳射电频谱图像的分类性能。首先模型在元学习基准数据集上进行元知识的学习, 然后对射电频谱图像进行小样本识别的模型定义, 最后将元知识迁移到频谱图像数据集的分类任务中。通过对多种元学习方法进行实验分析和性能比较, 证明了本文方法的先进性和有效性。     

基于SC-FDMA的可调公平度动态子载波分配算法

高速无线数据传输利用自适应的资源分配方式以对抗无线传输环境的不利影响。基于单载波频分复用系统提出一种最大平均容量动态子载波分配算法,并在此算法基础上引入公平系数,提出一种公平度可调的动态子载波分配算法,以实现系统分配公平性与总容量性能之间的权衡。仿真结果表明,最大平均容量算法在显著降低算法复杂度的同时,能获得与贪婪算法相近的系统总容量及误码率性能。可调公平度算法通过调整公平系数,能在较大范围内调整信道资源分配的公平度,满足不同传输质量需求,且不增加算法复杂度。     

Joint power and spectrum allocation algorithm in cognitive radio networks

The spectrum sharing problem between primary and cognitive users is mainly investigated.Since the interference for primary users and the total power for cognitive users are constrained,based on the well-known water-filling theorem,a novel one-user water-filling algorithm is proposed,and then the corresponding simulation results are given to analyze the feasibility and validity.After that this algorithm is used to solve the communication utility optimization problem subject to the power constraints in cognitive radio network.First,through the gain to noise ratio for cognitive users,a subcarrier and power allocation algorithm based on the optimal frequency partition is proposed for two cognitive users.Then the spectrum sharing algorithm is extended to multiuser conditions such that the greedy and parallel algorithms are proposed for spectrum sharing.Theory and simulation analysis show that the subcarrier and power allocation algorithms can not only protect the primary users but also effectively solve the spectrum and power allocation problem for cognitive users.     

一种空时二维联合频谱感知区域划分方案

认知无线电空时二维联合频谱感知技术可以有效利用认知无线电网络的二维频谱资源,该文提出一种空时异构认知网络区域划分方案的设计方法。新的设计方法依据IEEE 802.22标准和应用需求,建立了一种鲁棒性空时二维感知模型,并明确定义了认知无线电网络构架的主用户分布边界、保护边界和感知边界;基于认知用户对主用户通信中断概率的条件约束,严格推导出了3种边界条件的数学闭式解。采用新的设计方案,在保证主用户通信功率和认知用户最大允许通信功率的条件下,能够灵活确定主用户分区和认知用户的Overlay及Underlay接入模式。理论分析和仿真结果表明,新的区域划分方案在保证主用户良好通信质量的前提下,能够实现认知用户在空间维度更有效的分配和接入可用频谱资源。     

脉冲无线电技术在军事通信中的应用

衡量一种军事通信技术优劣的重要指标是其抗干扰性能和隐蔽性,而具备这些优良特性的脉冲无线电技术当前的研究热点是在短距离宽带无线接入中的应用。针对典型的超宽带实现方案脉冲无线电技术进行研究,首先分析了它与传统的直接序列扩频技术的差别,然后着重研究了它的抗干扰性能和抗检测/截获性能,并与DSSS技术进行对比,结果表明脉冲无线电超宽带技术比传统的DSSS技术具有更好的抗干扰性能和隐蔽性,更加适于军事通信应用。