基于IEEE802．11e MAC的联合无线资源管理

联合无线资源管理（JRRM）是针对耦舍多种无线接入技术的异构网络进行无线资源管理的一种新型机制，其目的是基于重配置技术和业务分流来整体优化异构网络的资源利用率。这种资源管理机制对其管理的各个接入网提出了QoS保证机制的要求。IEEE 802．11e的提出为WLAN提供了MAC层的QoS保证机制，从而促使IRRM能够高效工作。对基于IEEE 802．11e MAC的JRRM进行介绍，并分析了在联合会话允许控制和联合资源调度方面，基于IEEE802．11e MAC的方式能够改善异构无线环境中的网络性能。     

基于IEEE 802.11e MAC的联合无线资源管理

联合无线资源管理（JRRM）是针对耦合多种无线接入技术的异构网络进行无线资源管理的一种新型机制,其目的是基于重配置技术和业务分流来整体优化异构网络的资源利用率。这种资源管理机制对其管理的各个接入网提出了QoS保证机制的要求。IEEE 802.11e的提出为WLAN提供了MAC层的QoS保证机制,从而促使JRRM能够高效工作。对基于IEEE 802.11e MAC的JRRM进行介绍,并分析了在联合会话允许控制和联合资源调度方面,基于IEEE 802.11e MAC的方式能够改善异构无线环境中的网络性能。     

GSM／GPRS系统无线资源分配的研究

通用分组无线业务(GPRS：general packet radio service)，是一种基于GSM(global system for mobile communications)的新承载业务，它极大地提高并简化了通过无线方式对Internet的访同。GPRS与GSM的话音和基于电路交换的数据业务一起共享GSM的频带。主要研究了GPRS和传统GSM业务之间无线资源分配方案，利用呼叫允许控制器和带宽分配器获得较高的带宽利用率而不影响传统GSM业务和GPRS的服务质量QoS。     

基于预测状态表示的Q学习算法

针对不确定环境的规划问题,提出了基于预测状态表示的Q学习算法.将预测状态表示方法与Q学习算法结合,用预测状态表示的预测向量作为Q学习算法的状态表示,使得到的状态具有马尔可夫特性,满足强化学习任务的要求,进而用Q学习算法学习智能体的最优策略,可解决不确定环境下的规划问题.仿真结果表明,在发现智能体的最优近似策略时,算法需要的学习周期数与假定环境状态已知情况下需要的学习周期数大致相同.     

GSM/GPRS系统无线资源分配的研究

通用分组无线业务(GPRS:general packet radio service),是一种基于GSM(global system formobile communications)的新承载业务,它极大地提高并简化了通过无线方式对Internet的访问.GPRS与GSM的话音和基于电路交换的数据业务一起共享GSM的频带.主要研究了GPRS和传统GSM业务之间无线资源分配方案,利用呼叫允许控制器和带宽分配器获得较高的带宽利用率而不影响传统GSM业务和GPRS的服务质量QoS.     

认知无线电网络中基于图着色的动态频谱分配

动态频谱分配是解决认知无线电网络中频谱资源利用率低下的有效手段.针对现有频谱分配中认知用户"饿死"这一难点问题,以最大化系统接入率为目标,提出一种基于图着色的动态频谱分配算法.构造了基于图着色模型的效能函数,通过动态更新可用矩阵完成有效的频谱分配.一系列仿真实验表明,所提算法获得了较高的系统接入率,兼顾了系统的吞吐量和公平性,具有比现有算法更优的性能.     

面向海量机器类通信(mMTC)的无线接入控制

近年来,支持物联网(intemet of things,IoT)应用的机器类通信(machine-type communications,MTC)成为未来移动通信网络的重要业务组成部分.随着MTC对广域连接需求的快速增长,通过蜂窝网承载IoT应用成为必然的趋势,蜂窝物联网也成为下一代移动通信系统(5G)的重点技术之一.特别地,海量机器通信(massive MTC,mMTC)被定义为5G网络三大通用场景之一.传统的无线接入技术很难适应mMTC的需求,因此,面向mMTC的无线接入控制研究具有重要的研究意义.在简单介绍传统随机接入过程之后,总结分析了现有mMTC接入新技术,并指出现有技术方案在面对越来越复杂的应用场景下的局限性,而近年来兴起的基于人工智能(artificial intelligence,AI)的接入机制成了解决此问题最具潜力的技术方案之一.分析了AI用于接入控制的可行性,并提出了一种基于Q学习的mMTC智能接入点选择机制,为将来基于AI的mMTC接入控制研究提供新的思路和技术手段.     

基于改进Q学习的双周期干线信号协调控制方法

针对双周期干线信号协调控制中干线协调与双周期交叉口通行效率存在一定矛盾的问题,提出了一种基于改进Q学习的双周期干线信号协调控制方法,从状态空间和动作空间两个方面对Q学习算法进行了改进。首先,提出了新的交通状态描述指标——排队消散指数,依据该指标的阈值对交通状态进行等级划分,降低了Q学习状态空间的维数。其次,综合考虑相邻交叉口交通状态之间的关联和影响,针对每种系统状态分别设定可行的关联动作,降低了Q学习的动作空间。最后,以北京市两广路为例验证了改进的Q学习算法。结果表明,改进Q学习算法相比于普通Q学习算法、固定配时方案,干线平均延误分别减少10.47%、9.93%,平均停车次数分别减少22.64%、7.96%,双周期交叉口平均延误分别减少21.58%、24.96%,平均停车次数分别减少8.51%、11.64%,表明该算法对减少双周期干线延误,降低停车次数具有较为显著作用。     

面向天地一体化网络的计算卸载算法

由于天地一体化网络的计算资源受限、能力迥异等问题,会导致其处理复杂任务的能力减弱,使得重要的任务处理失败.因此,本文构建了一种将任务卸载到本地-骨干-边缘接入节点的三层计算卸载开销模型,并通过基于DQN的最优卸载算法进行最优卸载策略的制定.首先,依据网络中存在的天基骨干节点、边缘接入节点以及地基骨干节点三种类型计算节点(卸载站点)自身的特点,给出了不同卸载站点的时延、能耗的开销表达式以及对应的约束条件. 然后,提出了基于DQN算法来完成低时延、低能耗的卸载过程.仿真结果表明,DQN算法能够提高任务执行的速度,降低终端设备的能耗,有效改善网络中计算节点资源迥异的现状.     

基于Q学习算法的发电公司决策新模型

提出了基于Q学习的发电公司决策新模型,应用于求解发电公司在具有不完全信息的电力市场环境下为获取最优长期利润而制定的决策问题.以电力市场重复运行具有的典型Markov过程特性,应用Q学习算法构建以长期利润最优为目标的发电公司决策模型,并通过算例仿真验证了该模型的有效性.所提出的决策新模型可以根据发电公司对市场状态变化的不同预估状态转移概率模拟该公司在市场环境下的不同竞价策略,并给出不确定市场环境下的最优决策.     

基于动态多频谱感知的认知无线网络信道接入策略

针对固定频谱感知信道接入机制授权信道分配效率低的问题,提出一种多用户场景下基于动态多频谱感知的认知无线网络信道接入策略.该策略根据认知用户接入请求等级与空闲频谱发现概率为认知用户动态分配感知信道数量,首先分析了认知用户的最佳感知频谱分配数量,在此基础上通过建立认知用户信道接入模型和授权信道可用度更新机制,设计了一种动态感知频谱分配策略,并采用短视策略对网络吞吐量进行了分析.仿真结果表明,所提信道接入策略要比现有认知无线网络信道接入策略提高了网络吞吐量和认知用户接入的公平性,降低了认知用户的平均接入时延.     

基于Q-学习的卫星姿态在线模糊神经网络控制

将模糊神经网络控制引入到三轴稳定卫星的姿态控制中,结合Q-学习和BP神经网络来解决模糊神经网络参数在线调整问题,在无需训练样本的前提下实现控制器的在线学习. 仿真结果表明,这种基于Q-学习的模糊神经网络控制不仅可以满足对姿态控制精度的要求,还有效地抵制了外界干扰,提高了姿态稳定度,对卫星的不确定性有较强的鲁棒性.     

分布式Q学习多目标函数优化策略

将分布式Q学习算法与Pareto排序法相结合,提出了一种利用强化学习算法解决多目标优化问题的策略。该策略充分利用Q学习语句式的奖赏机制来描述问题的多重目标函数,并结合一般的Pareto排序法,在有限的迭代过程后输出可以充分接近于Pareto前沿的非支配解集。与其他智能搜索算法相比,该策略具有结构简单、无需先验知识、参数设置少的特点。测试函数优化问题验证了算法的有效性,为智能算法解决多目标优化问题提供了一种新思路。     

好奇心驱动的深度强化学习机器人路径规划算法

针对采用深度强化学习算法实现机器人路径规划任务中,训练前期随机性高导致奖励难获取问题,提出内在好奇心驱动的深度确定性策略梯度算法对连续型动作输出的端到端机器人路径规划进行研究。将环境获取的感知信息作为输入状态,输出机器人动作(线速度、角速度)的连续型控制量,在Gazebo仿真平台进行训练并验证。实验结果表明,基于内在好奇心驱动的深度确定性策略梯度路径规划算法可以较好地实现端到端的机器人路径规划,并且有利于解决训练前期奖励难获取问题,与离散型动作输出的深度Q学习网络模型进行了对比分析,结果表明本文算法决策控制效果更优越。在真实环境中进行了验证,在静态障碍和动态障碍的场景下,所提出算法可成功到达目标点。     

Antenna selection based on large-scale fading for distributed MIMO systems

An antenna selection algorithm based on large-scale fading between the transmitter and receiver is proposed for the uplink receive antenna selection in distributed multiple-input multiple-output ( D-MIMO) systems.By utilizing the radio access units ( RAU) selection based on large-scale fa-ding , the proposed algorithm decreases enormously the computational complexity .Based on the characteristics of distributed systems , an improved particle swarm optimization ( PSO) has been pro-posed for the antenna selection after the RAU selection .In order to apply the improved PSO algo-rithm better in antenna selection , a general form of channel capacity was transformed into a binary expression by analyzing the formula of channel capacity .The proposed algorithm can make full use of the advantages of D-MIMO systems , and achieve near-optimal performance in terms of channel ca-pacity with low computational complexity .     

具有远程监控的智能化抽油机节能器

介绍一种采用计算机控制的智能化抽油机节能器,给出了该节能器节能控制策略和优化控制算法。提供有RS485串行口和TTL串行口。通过外置SA68D21DM无线数传模块,在10-15km范围内,可实现抽油机设备运行工况的远程监测、监控。     

基于POMDP模型的分布式机会频谱接入算法

针对认知无线电（cognitive radio,CR）信道的动态特性,以部分可观测马尔科夫决策过程（POMDP）为模型对认知无线电网络用户的频谱感知和频谱接入过程进行研究,提出了基于POMDP模型的分布式机会频谱接入算法.该算法利用网络信道的历史频谱感知信息对主用户接入信道的状况作出估计,以认知用户吞吐量最大化为目标进行频谱接入.同时,通过贪心算法得到此优化策略的次优解,降低了最优策略的计算复杂度.论文分析了认知用户接入吞吐量与网络中信道数目以及信道状态转移概率之间的关系,将贪心算法与随机检测接入算法进行了仿真比较.仿真结果显示,该算法获得的吞吐量比随机检测接入算法提高了约25％,能够更有效地做出接入策略.     

基于流量模式的Q-学习路由及其连接调度

为解决无线网状网中因多条路径同时传输数据而引起网络性能降低的问题, 提出了一个基于流量的Q-学习路由与调度方案(QRST): 针对每一个路由请求, 首先采用强化学习中的Q-学习算法寻找路径; 然后根据找到的路径结合信道分配完成组合调度, 以启发式的方法尽可能为每个时隙使用网络资源分配路径的连接. 并在不同网络资源配置和多种流量请求下进行虚拟计算实验, 以验证该方案的正确性和有效性. 实验结果表明: 与COSS方案和AODV方案相比,采用QRST方案的无线网状网在吞吐量、激活链路数量和传输完成时间等网络性能上有较好的表现.     

空分和频分混合接入方式下的无线资源调度算法

为进一步引入分集增益以提高无线资源频谱利用率,针对多用户多输入多输出-正交频分复用(MIMO-OFDM)系统下行传输,提出联合OFDM和多用户空间复用MIMO混合接入方式下的用户调度和功率分配算法。采用这种混合接入方式不仅能够通过频率信道和空间信道的调度产生多用户分集增益,而且能有效避免空分复用(SDMA)中频率复用产生的共信道干扰问题。在资源分配上,基于广义处理机共享(GPS)优化模型提出基于信道状态的并行加权公平队列(Cap-WFQ)调度和功率分配算法,算法在保证多媒体用户的最小数据率要求的同时优化系统的吞吐量。     

基于CAS-FQL算法的区域交通控制

针对Q-学习算法收敛慢、易陷入局部最优的缺陷,提出了一种基于灾变模糊Q-学习（CAS-FQL）算法的区域交通协调控制方法,即将灾变策略引入到模糊Q-学习算法的学习过程中,以提高和改进Q-学习的寻优能力和学习效率.具体是,利用CAS-FQL算法分别优化路网中各交叉口的周期和相位差,绿信比则采用常规方法优化.TSIS软件交通仿真的结果表明,相比基于Q-学习的控制方法,CAS-FQL算法能显著加快算法的收敛速度、提高交通效率.