改进的Q-Learning算法及其在路径规划中的应用

在传统的Q-学习算法上,提出了一种改进算法ε-Q-Learning,并应用到路径规划中。引入了动态搜索因子,其根据环境的反馈来动态调整贪婪因子ε,如果一次从起点到终点的探索失败,则通过增大ε来使下一次探索的随机性增大,以免陷入局部优化困境;反之,则通过减少ε来增加目的性。本实验利用算法损失函数、运行效率、步数、总回报来评估算法表现。实验表明,ε-Q-Learning算法相比于已有的Q-Learning算法,不仅可以找到更优的路径,而且可以有效地减少迭代搜索的代价。     

改进蚁群算法的云存储任务调度算法研究

由于云存储环境与云计算环境中不同,若直接将云计算环境中的任务调度算法移植到云存储环境中,必然会导致任务调度的效率下降。为解决此问题,提出了一种适用于云存储环境中的改进蚁群算法。改进蚁群算法能使云计算环境的任务调度算法更符合云存储的环境;同时,对于改进PSO算法在引入存在矩阵时,由于数据资源不存在而造成算法前期优化浪费引起效率低下的问题进行了有效解决。分析测试结果表明,提出的改进蚁群算法在云存储环境的任务调度算法在保障有效解的前提下能够拥有更快的收敛速度。     

改进蚁群算法的云存储任务调度算法研究

由于云存储环境与云计算环境中不同,若直接将云计算环境中的任务调度算法移植到云存储环境中,必然会导致任务调度的效率下降。为解决此问题,提出了一种适用于云存储环境中的改进蚁群算法。改进蚁群算法能使云计算环境的任务调度算法更符合云存储的环境;同时,对于改进PSO算法在引入存在矩阵时,由于数据资源不存在而造成算法前期优化浪费引起效率低下的问题进行了有效解决。分析测试结果表明,提出的改进蚁群算法在云存储环境的任务调度算法在保障有效解的前提下能够拥有更快的收敛速度。     

基于消息反馈与强化学习的节能路由算法

针对中小型规模水下无线传感器网络中存在的节点能量消耗不均衡、网络生命周期较短的问题,提出一种基于强化学习(RL)与消息反馈机制的能量均衡路由算法,将水下路由问题建模成马尔可夫过程,采用Q-Learning方法并设计直接奖励函数对节点转发路径进行决策;引入节点转发适宜度规避转发过程中的疑似空洞节点;改进空节点数据包恢复方...     

流量拥堵空域内一种基于Q-Learning算法的改航路径规划

目前,空中流量激增导致空域资源紧张的问题越发凸显,为了缓解这一现状,将基于流量管理层面对航空器进行改航路径的研究。首先采用栅格化的方式对空域环境进行离散化处理,根据航路点流量的拥挤程度把空域划分为三种不同类型的栅格区域。其次通过改进强化学习中马尔科夫决策过程的奖励函数对其进行建模,并基于 策略运用Q-Learning算法对该模型进行迭代求解,对相应的参数取值进行探究比较以提高结果的可适用性。最后经过仿真运行,计算出不同参数赋值下的最优路径及相应的性能指标。研究结果表明：应用该模型和算法可以针对某一时段内的流量拥堵空域搜索出合适的改航路径,使飞机避开流量拥挤的航路点,缩短空中延误时间,有效改善空域拥堵的现况。     

基于MPI的近邻距离加权偏标记学习算法之并行实现

针对基于样例的偏标记学习方法 IPAL需对每个样本求取近邻及近邻的权值、耗时太多而不适用于求取大规模数据的问题,提出了一种基于近邻距离加权的偏标记学习算法,对IPAL中近邻权值的求取方式进行改进.为提升新算法的运行效率,在训练集与测试集的读取、相似度图的构建、迭代标记传播和测试样本的预测等方面进行了并行计算;设计了新算法的并行模型,且在MPI的集群环境下实现此模型.将改进后串行算法WIPAL的运行效率和分类准确率与IPAL进行对比,且将不同进程数下并行算法PWIPAL的运行时间和加速比进行对比.试验结果表明:新算法在保证分类准确率的前提下缩短了运行时间;随着数据规模的增大,PWIPAL与WIPAL分类准确率相同,运行时间的加速比逐渐接近所设定的进程数,可以用来处理大规模数据.     

基于改进的启发式蚂蚁算法求解最短路径

针对复杂环境中机器人路径规划问题,为了提高蚁群算法的寻优能力和收敛速度,基于A~*算法的距离评价函数,对算法中的启发式函数进行改进,提出一种启发式的蚂蚁算法,并对新算法进行仿真测试.结果表明:改进后的启发函数可以有效改善蚂蚁算法搜索的盲目性,解决了传统蚁群算法收敛速度慢、易陷入局部最优解的问题.与传统蚂蚁算法相比,启发式蚂蚁算法在20×20网格下的相关系数提高了0.4722,40×40网格下的相关系数提高了0.226 5,说明改进算法的规划能力和收敛效率均有所提高,整体上优于传统蚂蚁算法.     

基于强化学习的沥青路面长期性能养护决策方法

针对道路长期性能养护决策中庞大的数据分析问题，将深度确定性策略梯度(deep deterministic policy gradient, DDPG)强化学习模型引入到了养护决策分析中，将道路性能的提升及养护资金的有效利用作为机器学习的奖励目标，建立了一套科学有效的沥青路面长期性能养护决策方法，经过与DQN(deep Q-learning network)算法和Q-Learning算法进行对比，DDPG算法所需要的采样数据更少、收敛速度更快，表现更为优异，可有效提升道路服役性能的评估效率，对沥青路面多目标长期养护决策方案的制定起着重要的推动作用。     

用于训练神经网络的自适应梯度下降优化算法

由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度.     

基于改进蚁群算法的移动机器人路径规划

针对蚁群算法应用于移动机器人路径规划时存在易于陷入局部最优解、收敛速度慢的问题,提出了一种适用于静态障碍环境下基于改进蚁群算法的移动机器人路径规划方法。该方法改进了节点间的状态转移规则,增加了得到最优路径的概率;自适应调整启发函数,提高了算法的搜索效率;基于狼群法则对信息素进行更新,有效避免了算法陷入局部最优解;动态调整了衰减系数,在后期增加了蚂蚁对最优路径的选择概率,加快了算法的收敛速度。仿真实验表明,与其他算法在相同环境下比较,该改进算法在路径规划结果相同的情况下具有较快的收敛速度;且改进算法在不同复杂程度环境中均得到了最优路径,也表明了该算法的有效性和可靠性。该算法具有良好的寻优能力,可以适用于不同复杂环境中的移动机器人路径规划。     

面向拥塞控制的WMN 联合功率控制与信道分配

为解决所构建的联合资源分配模型的资源分配问题,提出一种面向拥塞控制的联合功率控制与信道分配算法( CCJPCA: Congestion Control oriented Joint Power control and Channel assignment Algorithm) 。CCJPCA 算法通过混合编码策略实现了链路功率与信道变量的共同进化,利用Q-Learning 算法的回报机制实现变异策略的自适应选择,从而保证网络资源的合理配置。NS-3( Network Simulator-3) 仿真结果表明,CCJPCA 算法能优先为网络瓶颈链路分配网络资源,提高算法收敛速度,减少网络排队和重传时延,降低网络平均丢包率。     

基于高斯学习多峰延迟粒子群优化算法

为克服粒子群在解决多峰函数复杂问题时存在收敛速度慢和极易陷入局部最优值的缺点,提出了一种基于高斯学习多峰延迟粒子群混合算法。首先引入改进的高斯学习提高算法的收敛速度,然后在此基础上,针对4 种进化状态在算法中引入延迟因子避免局部最优问题。通过对6 个单峰多峰测试函数进行仿真实验,验证了GLPSO( Gaussian Learning PSO) 算法具有更好的收敛速度,同时验证了GLMDPSO( Gaussian Learning Multimodal Delayed PSO) 算法在处理多峰函数复杂问题时具备更好的全局搜寻能力。因此,改进算法在解决多峰函数寻优问题时可有效跳出停滞状态,提高收敛速度并具有较好的寻优能力。     

基于改进主动学习和自训练的联合算法

针对主动学习面向大型数据集人工标记成本过高和半监督自训练算法中存在误标记点影响的问题,提出了一种主动学习与半监督自训练交替迭代训练的联合算法．算法在训练过程中奇数轮次采用主动学习算法,偶数轮次采用自训练算法,通过2种算法的交替迭代训练以弥补彼此不足．自训练算法对无标记样本的预测减轻了主动学习标记样本的负担,同时主动学习标记易变成噪声的样本,减轻了自训练算法训练过程中对样本的标记错误．提出了一种基于密度峰值聚类和隶属度的改进主动学习算法:将初始无标记样本聚类成簇,根据隶属度差值在每个簇内选取部分样本做人工标记,获得可表达样本的整体结构的均衡样本．仿真试验表明:提出的联合算法在性能上要优于2种单一算法．对比常见的主动学习算法,改进后的主动学习算法分类性能得到显著提升,将其应用于联合算法中的效果更具优势．      

基于CAS-FQL算法的区域交通控制

针对Q-学习算法收敛慢、易陷入局部最优的缺陷,提出了一种基于灾变模糊Q-学习（CAS-FQL）算法的区域交通协调控制方法,即将灾变策略引入到模糊Q-学习算法的学习过程中,以提高和改进Q-学习的寻优能力和学习效率.具体是,利用CAS-FQL算法分别优化路网中各交叉口的周期和相位差,绿信比则采用常规方法优化.TSIS软件交通仿真的结果表明,相比基于Q-学习的控制方法,CAS-FQL算法能显著加快算法的收敛速度、提高交通效率.     

基于精英高斯学习的改进鱼群粒子群混合算法

为提高算法在高维函数上的寻优性能,提出改进鱼群粒子群混合算法。该算法将鱼群算法全局搜索性能好与粒子群算法局部搜索性能强的优点相结合,在寻优初始阶段采用鱼群算法获得最优群体,在后期用粒子群算法实现精搜索。针对初始种群随意性大、分布不均的问题,通过均匀初始化,优化初始种群的分布; 并对算法全局搜索方向性差、效率低的问题,采用仿照蛙跳算法的分组方式对种群进行分组,同时对组内优秀个体和一般个体使用不同搜索策略,提高搜索的目的性和效率。引入改进的精英高斯学习,从而提升最终结果的精度。利用该算法对6 个标准函数寻优并与其他算法比较,结果表明,该算法的改进有效且性能优于其他算法。     

基于隐朴素贝叶斯分类方法的垂直切换算法

为解决车辆在相对高速运动下产生网络间切换的“乒乓效应”,根据隐朴素贝叶斯分类思想,突破原有贝叶斯决策中关于属性之间完全独立的假设,建立属性间的关系,同时引入自适应修正概率,降低切换次数,避免了运算的复杂度。仿真结果表明,改进算法与原算法及其他算法相比较,可以有效降低切换次数,并且拥有更低的运行时间,提升了在车联网环境下垂直切换的稳定性与效率。     

基于混合算法的点云配准方法研究

为解决ICP( Iterative Closest Point) 算法对初始点云位置要求高且易陷入局部最优的问题,提出一种新的配准方法。首先遵从优势互补基本思想,结合将人工萤火虫算法和粒子群算法生成自适应人工萤火虫-粒子群算法( AAGPSO: Adaptive Artificial Glowworm-Particle Swarm Optimization) ,以使算法的收敛速度变快,解的精度得到提高; 其次优化迭代最近点算法( ICP) ,将已改进的AAGPSO 算法引入ICP 配准算法中进行点云配准,解决ICP 算法因点云的初始位置相差较大而陷入局部最优问题,加快整体的配准效率。通过实验对比原始ICP 配准方法和改进的配准方法并对其进行误差分析,结果验证了AAGPSO 算法在传统ICP 算法的基础上提高了配准精度,并且加快了算法收敛速度,改进的配准方法具有明显优越性。     

基于动态延迟策略更新的TD3 算法

在深度强化学习领域中，为进一步减少双延迟深度确定性策略梯度TD3( Twin Delayed Deep Deterministic Policy Gradients) 中价值过估计对策略估计的影响，加快模型学习的效率，提出一种基于动态延迟策略更新的双 延迟深度确定性策略梯度( DD-TD3: Twin Delayed Deep Deterministic Policy Gradients with Dynamic Delayed Policy Update) 。在DD-TD3 方法中，通过Critic 网络的最新Loss 值与其指数加权移动平均值的动态差异指导Actor 网 络的延迟更新步长。实验结果表明，与原始TD3 算法在2 000 步获得较高的奖励值相比，DD-TD3 方法可在约 1 000步内学习到最优控制策略，并且获得更高的奖励值，从而提高寻找最优策略的效率。     

基于PSO-GA-BP神经网络的视觉伺服控制系统

传统的基于图像视觉伺服控制需要计算雅可比矩阵和解雅克比矩阵的逆,其结构复杂、计算量大且系统 的实时性不够理想。基于粒子群遗传算法优化的 BP(Back Propagation)神经网络(PSO-GA-BP: Particle Swarm Optimization-Genetic Algorithm-BP)通过学习图像特征空间到机器人运动空间的映射关系,实现了“眼在手上”的 机器人视觉伺服控制,通过优化 BP 神经网络的权值和阈值,防止了其训练时间长、收敛速度慢等弊端。实验 结果表明,优化后的算法运算效率较高,所设计的控制器能使机器人末端执行器在更短的时间内达到预期位 置,图像特征点运动位置的实际值与期望值平均误差约为 2 个像素,具有良好的收敛速度和控制精度。相关结 论可为机器人视觉伺服控制提供优化依据,提高算法的应用性能。     

基于关键节点的影响力最大化算法

为解决LDAG( DAG Algorithm Based on Linear Threshold) 算法在处理关于社会网络影响力最大化过程中,优先考虑网络影响力传播模型、忽视社会网络的拓扑结构问题,利用社交网络社区的结构,有针对性地选择影响力传播的关键节点,对LDAG 算法进行了改进。利用关键节点简化了有向无环图的构造过程,保证了其高精度与运行效率高的特点,同时也优化了算法的时间复杂度和空间复杂度。通过两个有效的实验数据集对算法进行验证,结果表明改进的算法可以大幅度降低算法的运行时间,且对算法的精度影响很小。