基于深度强化学习的轨迹跟踪横向控制研究

针对自动驾驶的轨迹跟踪问题，为实现性能优异且具有实际应用价值的控制器，文章将双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradient, TD3)的深度强化学习算法应用于轨迹跟踪的横向控制。对车道线保持的应用场景进行控制器设计，首先基于TD3算法对神经网络结构及其参数进行设计，并依据人类驾驶员的行为方式定义状态空间和动作输出，使其具有较快的训练速度以及较好的控制执行效果；然后设计一种奖励函数，将跟踪精度和舒适度同时作为控制器性能的优化方向；最后，根据ISO 11270:2014(E)标准在Prescan中搭建多种使用场景进行仿真实验，验证所设计的控制器性能。通过与当前主流轨迹跟踪解决方案实验结果的对比，分别从跟踪精度和舒适度两方面证明了该控制器可以满足使用要求并且控制性能更加优异，具有的较高应用价值。