一类非凸-强凹极小极大问题的零阶优化算法

极小极大问题是博弈论和机器学习中的一类重要问题。目前已有大量基于目标函数的梯度和Hessian阵信息的优化算法来求解这类问题。但在有些应用中,目标函数的梯度或Hessian阵信息往往是计算昂贵或难以获取的。为此,针对一类非凸-强凹极小极大问题,在极小极大三次正则化牛顿算法的框架下,通过基于Stein恒等式的高斯平滑化方法来近似梯度与Hessian阵信息,进而提出一类零阶极小极大三次正则化牛顿算法。分析算法的收敛性,并得到算法达到一个二阶平稳点时的迭代复杂度为O（ε-3/2）,其中ε是算法终止所达到的精度。数值仿真实验结果表明：在相同的精度下,所提出的算法在CPU运行时间上优于极小极大三次正则化牛顿算法。     

凸-凹极小极大优化问题的零阶梯度下降上升算法

【目的】为了解决基于梯度下降上升算法在某些应用中,目标函数的梯度信息计算昂贵或难以获取的问题。【方法】基于此,针对一类凸-凹极小极大优化问题,在梯度下降上升算法(OGDA)的框架下,基于均匀分布的平滑化方法用差商来近似函数梯度信息,提出了一类零阶梯度下降上升算法(ZO-OGDA)。【结果】基于带误差的邻近点算法的收敛性分析理论,证明得到所提算法ZO-OGDA取得ε-稳定点的迭代复杂度为O(ε^-1)。【结论】最后通过数值仿真,实验结果表明所提出的算法ZO-OGDA在数值上与算法OGDA表现相近。