基于最优向量基线的参数探索策略梯度算法

策略梯度算法是深度强化学习领域中广泛使用的一类无模型强化学习方法,在实际应用中取得了突破性进展。策略梯度算法一直受到梯度估计方差大的困扰,基于参数探索的策略梯度算法(policy gradients with parameter based exploration,PGPE)从根本上缓解了该问题。通过最优基线技术的引入,策略梯度估计的方差进一步减小。然而,现有最优基线技术只使用标量值作为基线,忽略了策略梯度各维度之间的差异。针对此问题,本文提出一种向量基线概念并推导PGPE算法的最优向量基线表示,在理论上证明了引入最优向量基线的PGPE算法可以得到更小的梯度估计方差,并且实验验证了此算法的有效性。