MEC架构下基于DDPG的车联网任务卸载和资源分配

为了缓解车联网中个体车辆计算资源配置过低而导致的任务处理时延较大的问题,提出了一种移动边缘计算(mobile edge computing, MEC)架构下的动态任务卸载策略和资源分配方案。以最小化全网任务处理时延为目标,将车联网中的任务卸载和资源分配问题建模为马尔可夫决策过程(Markov decision process, MDP),并利用深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法进行了问题求解。仿真结果表明,与执行者-评价者(actor-critic, AC)和深度Q网络(deep Q-network, DQN)这2种算法相比,DDPG算法以最快的算法收敛特性获得最小的全网任务处理时延。     

具有优先级的深度确定性策略梯度算法在自动驾驶中的应用

深度确定性策略梯度(deep deterministic policy gradient,DDPG)算法在自动驾驶领域中应用广泛,但DDPG算法因采用均匀采样而导致低效率策略比例较高、训练效率低、收敛速度慢等.提出了基于优先级的深度确定性策略梯度(priority-based DDPD,P-DDPG)算法,通过优先级采样代替均匀采样来提升采样利用率、改善探索策略和提高神经网络训练效率,并且提出新的奖励函数作为评价标准.最后,在开源赛车模拟(The Open Racing Car Simulator,TORCS)平台上对P-DDPG算法的性能进行了测试,结果表明相对于DDPG算法,P-DDPG算法的累积奖励在25回合之后就有明显提升而DDPG在100回合之后训练效果才逐渐显现,提升约4倍.P-DDPG算法不仅训练效率提升且收敛速度加快.     

基于非支配排序遗传算法的沥青路面大中修养护决策

为了更好地协调沥青路面大中修养护方案决策时成本、环境和性能之间相互制衡的矛盾,提出了一种基于非支配排序的遗传算法(non-dominated sorting genetic algorithm Ⅲ,NSGA-Ⅲ)来优化沥青路面大中修养护方案决策。针对实际公路工程项目中多重约束条件下的养护需求,建立了以碳排放量、寿命周期成本及路面使用性能为目标的多目标优化模型,采用NSGA-Ⅲ算法求解模型,有效解决各目标间的非支配关系,并得到养护方案的Pareto解集;在多属性决策中引入广义马氏距离与组合赋权方法,对Pareto解集进行排序决策,并以承德市某公路为例进行实例演示;划分3种不同的权重等级和六种权重策略,分析对不同目标赋予不同权重等级时对最优养护方案的影响。研究结果表明:NSGA-Ⅲ算法可以快速、高效地捕捉多目标解集,当对不同目标赋予相同的权重等级时,相比于只考虑单目标与双目标的养护方案,其最优解在碳排放量上分别降低24.45%、28.41%;寿命周期成本分别降低14.43%、17.95%;PCI值分别降低1.07%、3.68%。该方法相比于传统的决策方法可以更准确、更迅速地得到可持续性的养...     

考虑多种损坏构成特征的沥青路面预防性养护决策方法

由于沥青路面损坏构成的多样性, 相同的路面状况指数(pavement condition index, PCI)可能代表不同的损坏组合. 当多种损坏并存且损坏程度接近时, 用PCI和主导损坏(最严重、扣分最多的路面损坏)难以得到具有针对性的养护对策. 因此, 通过对PCI的深入分析, 明确了主导损坏代表性不足的路段, 以现行预防性养护决策方法为基础, 补充了一种考虑损坏构成特征、更具针对性的决策方法. 以上海城市道路近5年的检测、养护数据为分析基础, 首先利用有序聚类算法将路段按PCI水平分组, 分析了不同阶段路面损坏构成和差异水平; 然后, 针对多种损坏并存且损坏差异不显著的路段, 根据预防性养护的实施效果筛选了能够反映正确预防性养护经验的有效养护路段; 最后, 基于有效养护路段建立并对比分析了2个基于BP(back propagation)神经网络的养护决策模型. 结果表明: 当PCI水平介于优良(84.4~93.0分)时, 不同损坏程度接近, 主导损坏代表性不足; 考虑多种损坏构成特征的BP神经网络模型表现出更高的决策精度, 测试集决策正确率达86.20%, 优于仅考虑主导损坏的模型(58.50%). BP神经网络与传统决策树法结合能够优化沥青路面决策过程, 提高养护对策选取的针对性.     

封层类预防性养护

封层类预防性养护是将预先设计好的配合比砂石粘结材料组成的混合料铺设在原沥青路面上，对道路起到预防性养护作用，从而提高道路的路用性能，延长道路使用寿命，提高道路服务质量。     

改进的DDPG算法在机器人路径规划中的应用

深度强化学习(DRL)在连续控制问题中具有优异的性能,被广泛用于路径规划等领域.为了实现移动机器人在未知环境中的智能路径规划,提出了一个路径规划的模型,基于深度确定性策略梯度算法(Deep Deterministic Policy Gradient,DDPG)的自主路径规划模型.针对DDPG算法前期对环境没有先验知识,收敛速度慢和移动时会出现局部最优情况,提出了一种改进的DDPG算法.通过在DDPG算法中添加人工势场的引力场和斥力场,以加快收敛速度和移动机器人到达目标点的时间.对奖赏函数进行改进,增加直走奖励,以提高规划路径的稳定性.     

基于深度仲裁策略的四足机器人步态学习

复现高等生物的学习过程是机器人研究的一个重要研究方向，研究人员已探索出一些常用的基于行动者评价器（actor critic,AC）网络的强化学习算法可以完成此任务，但是还存在一些不足.针对深度确定性策略梯度（deep deterministic policy gradient,DDPG）存在着Q值过估计导致恶化学习效果的问题,受到大脑前额叶皮质层仲裁机制的启发，提出了一种深度仲裁行动者评价器（deep arbitration actor critic,DAAC）算法，其中包含两套评价网络，通过仲裁机制进行择优选取评价网络去更新策略参数，有效解决了Q值过估计的问题，该算法使得四足机器人成功复现了仿生的步态学习过程.通过仿真实验，将DAAC算法与DDPG、软行动者评价器（soft actor critic,SAC）、近端策略优化(proximal policy optimization,PPO)三种算法进行了对比实验，实验证明经DAAC训练的四足机器人步态在奖励值、机体稳定性和速度三个方面都有更好的表现，有效验证了算法的优越性.     

基于人工神经网络的沥青路面剩余寿命分析

路面整体结构性能评估是公路养护或重建决策优化的一项重要参考依据，一般情况下，如果路面的服务能力指数降到可接受水平以下，就有必要对当前整体性能(剩余寿命)进行评价，决定是否需要延长寿命或者进行重建设计，因此，利用人工神经网络(ANN)方法建立了沥青路面剩余寿命预测模型，由此程序可以由落锤弯沉仪(FWD)弯沉数据快速预估路面的剩余寿命，这种方法直观、准确，并且不需要反算模量，对于道路工作者的养护和补强罩面工作具有参考价值。     

基于深度强化学习的智能车辆行为决策研究

自动驾驶车辆决策系统直接影响车辆综合行驶性能,是实现自动驾驶技术需要解决的关键难题之一。基于深度强化学习算法DDPG（deep deterministic policy gradient）,针对此问题提出了一种端到端驾驶行为决策模型。首先,结合驾驶员模型选取自车、道路、干扰车辆等共64维度状态空间信息作为输入数据集对决策模型进行训练,决策模型输出合理的驾驶行为以及控制量,为解决训练测试中的奖励和控制量突变问题,本文改进了DDPG决策模型对决策控制效果进行优化,并在TORCS（the open racing car simulator）平台进行仿真实验验证。结果表明本文提出的决策模型可以根据车辆和环境实时状态信息输出合理的驾驶行为以及控制量,与DDPG模型相比,改进的模型具有更好的控制精度,且车辆横向速度显著减小,车辆舒适性以及车辆稳定性明显改善。     

路面养护改建项目的优先次序评定

针对路面养护改建项目优先级的确定问题，提出了一种多属性决策的分析方法，在不需要主观赋权的情况下，该方法能对反映道路状态的多属性指标进行客观自动赋权。最后，使用该法对沥青路面养护改建项目进行了优先级排序分析。     

适用于强化学习惯性环境的分数阶改进OU噪声

本文将DDPG算法中使用的Ornstein-Uhlenbeck (OU)噪声整数阶微分模型推广为分数阶OU噪声模型，使得噪声的产生不仅和前一步的噪声有关而且和前K步产生的噪声都有关联.通过在gym惯性环境下对比基于分数阶OU噪声的DDPG和TD3算法和原始的DDPG和TD3算法，我们发现基于分数阶微积分的OU噪声相比于原始的OU噪声能在更大范围内震荡，使用分数阶OU噪声的算法在惯性环境下具有更好的探索能力，收敛得更快.     

浅谈沥青路面冷补技术在公路养护中的应用

随着人民群众出行质量的逐步提高，公路的即时性养护的越来越受到广泛关注，公民法制意识的增强及社会经济发展对道路养护的要求也就显得越来越重视。介绍了沥青路面冷补技术在道路养护中的应用，对使用过程中冷补材料性能特点、材料组成、形成过程、与其它材料的比较及应用前景进行说明。冷补技术在道路养护实践中的成功应用，解决了全天候条件下沥青路面养护（病害修复）的难题，应大力推广应用。     

高速公路桥梁桥面板养护方案多目标决策方法

针对桥梁养护决策效率低、养护资金不足和分配不合理等问题，提出了一种高速公路桥梁桥面板养护方案多目标决策方法.首先，建立养护技术数据库以储存养护技术的量化数据;之后，使用基于熵权的理想点(TOPSIS)法和层次分析法(AHP)分别确定高速公路网络内桥梁桥面板养护优先级系数和养护目标的权重;然后，构建以0-1背包问题为基础的多目标决策模型;最后，以辽宁省沈阳市绕城高速(G1501)公路上5座桥梁为案例验证该方法的有效性.结果表明，该方法在养护决策的过程中能够充分考虑桥梁桥面板的养护优先级，制定合理、有效的养护策略，从而有效支持公路桥梁养护管理决策.     

基于改进的DDPG算法的蛇形机器人路径规划方法

针对蛇形机器人执行路径规划任务时,面对复杂环境传统强化学习算法出现的训练速度慢、容易陷入死区导致收敛速度慢等问题,提出了一种改进的深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法。首先,在策略-价值(actor-critic)网络中引入多层长短期记忆(long short-term memory, LSTM)神经网络模型,使其控制经验池中信息的记忆和遗忘程度;其次,通过最优化特征参数将CPG(central pattern generators)网络融入强化学习模型,并设计新型网络状态空间和奖励函数;最后,将改进算法与传统算法分别部署在Webots环境中进行仿真实验。结果表明,相比于传统算法,改进算法整体训练时间平均降低了15%,到达目标点迭代次数平均降低了22%,减少了行驶过程中陷入死区的次数,收敛速度也有明显的提升。因此所提算法可以有效地引导蛇形机器人躲避障碍物,为其在复杂环境下执行路径规划任务提供了新的思路。     

高速公路沥青路面早期性能评价模型

针对沥青路面早期破坏现象,结合京秦(北京-秦皇岛)高速公路及河北省部分高速公路连续几年路面调查数据,提出了基于预防性养护的评价模型.该模型以路面裂缝、车辙、破损、平整度、抗滑性和结构强度作为评价内容,以路面早期性能指数作为综合评价指标,给出了路面预防性养护单项指标裂缝率指数、车辙深度指数、道路行驶质量指数、路面状况指数(除去裂缝和车辙)、路面抗滑性能指数和路面结构强度指数的预防性养护范围,并确定了各单项指标在综合指标中所占权重.该模型已在京秦高速公路养护工作中进行了验证.结果表明,该模型能较为准确地预测沥青路面的早期性能,当评价指标为75～90分时,应采取路面预防性养护措施.     

公路路面预防性养护同步碎石封层工程技术的推广应用

同步碎石封层技术是近年来在我省及全国得到大力推广和广泛使用的公路沥青路面养护技术。经过同步碎石封屡处理过的沥青路面，具有良好的抗滑性能和防止地表水下渗功能，有效治愈路面贫油、网裂（龟裂）等病害，同步碎石封层技术主要用于沥青道路的预防性养护。     

基于DDPG的边云协同计算卸载方法

移动设备的容量有限以及传统卸载算法仅考虑移动设备和边缘服务器计算资源,使单独的边缘计算面临资源有限和成本高的问题。为此,将云计算(Cloud Computing)、边缘计算(Edge Computing)与深度确定策略性梯度算法(Deep Deterministic Policy Gradient, DDPG)相结合,提出了一种基于DDPG的边云协同计算卸载方法(DDPG-ECC)。将时延和能耗作为优化目标,利用边缘服务器和云服务器之间的协作,最小化计算卸载系统的时延和能耗,实现了计算卸载的优化分配。仿真结果表明,DDPG-ECC性能良好,对于不同的工作负载具有很好的适应性和泛化能力。     

基于深度强化学习的无人机姿态控制器设计

为了能让四旋翼无人机的姿态控制器具有强大的目标值追踪与抗外部干扰的能力,提出了一种基于参考模型的深度确定性策略梯度的四旋翼无人机姿态控制器设计。该方法通过神经网络,将四旋翼无人机的状态直接映射到输出。本文的强化学习算法是结合深度确定性策略(deep deterministic policy gradient,DDPG)和深度神经网络所设计的。在DDPG算法结构中,进一步加入参考模型,规避控制量太大造成的系统超调,增强了系统的稳定性以及鲁棒性。同时,修改了强化学习中奖励的构成,成功消除了系统的稳态误差。经过研究实验表明,该控制方法可以对目标值进行快速地追踪且有着较强的鲁棒性,可见该控制器相比于传统的控制器,提高了其目标值追踪能力以及抗干扰能力。     

浅谈公路沥青路面养护维修质量的控制

随着经济的发展,交通量的逐渐增大,沥青路面在使用过程中,难免会出现车辙、裂缝、松散、坑槽、脱皮等破损病害,若不能及时有效地进行养护维修,将会进一步使病害加重扩散,加速沥青路面破坏,影响道路的使用安全性能,养护也会非常困难,并且在经济上也造成浪费。控制好沥青路面养护维修质量是尤为重要的。下面就结合本人公路养护的实践浅谈一下公路沥青路面养护维修质量的控制。     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.