次梯度外梯度算法求解随机变分不等式

确定性变分不等式已经有了较为完善的理论和数值方法。受次梯度外梯度算法的启发,考虑将其推广到随机变分不等式中。由于随机因素的出现,确定性的数值方法不能直接用来求解随机变分不等式。为此,结合处理随机优化常用的随机逼近方法,提出采用基于次梯度外梯度的随机逼近方法来求解随机变分不等式,即每次迭代抽取一个样本点,用样本函数去代替期望值函数,同时将外梯度算法中的第二步投影改投在含有可行集的一个半空间上,新的迭代点为第k步和矫正步的一个凸组合。该法采取随机逼近方法处理随机问题,并且当投影难以计算的时候,修改第二步投影在半空间上以此来减少计算的代价,新的迭代点充分利用了已知点的信息,使得算法迭代快速有效。在适当的假设下,当函数是伪单调的时候证明了去全局收敛性,并给出了初步的数值试验来证明该算法的可行性。     

分布式在线随机投影优化

针对分布式网络在线处理数据流的问题,提出了一种基于在线学习的分布式随机投影优化算法——分布式在线随机投影算法。在带有时延非平衡有向图上,成本函数是局部目标函数之和,且每个节点仅知道局部目标函数信息,并在分布式在线随机投影算法作用下所有个体达成一致收敛。最后通过数值实验,验证了所提算法的有效性。     

求解不可微凸可行问题的一种新算法

针对传统算法无法得到不可微函数下降方向的困难,结合方向导数信息,提出了不可微凸可行问题的一种直接算法.首先,为避免在每次迭代过程中计算投影,将凸可行问题转化为求解极大值函数的0-水平集中元素的问题;然后利用方向导数信息构造出下降方向,并且运用一维搜索法确定步长.证明了算法的收敛性,该算法无需利用梯度或次梯度,只需用到函数值信息,易于实现,数值试验表明了该算法的有效性.     

FSFIS问题的基于随机kick的ILS&TS混合算法

提出了一种基于随机kick的迭代局域搜索算法(ILS)求解存储容量受限的流水车间问题(FSFIS).该算法使用新颖的多对不交叉的交换移动构成kick移动,并采用回溯机制保证搜索在有利的空间内进行.通过应用4种邻域结构,每种情况下产生480组随机数据的试验证明该新型算法是快速有效的近优算法.设计了一种在原有的静态禁忌搜索算法中引入了基于随机kick的迭代局域搜索算法的混和算法,这种混合算法可以充分发挥原有的2种算法的各自优势,使目标函数进一步改进.     

一种新的求解圆锥规划的非内点算法

针对一般的圆锥优化问题,本文提出了一种新的非内点算法.该算法根据圆锥与二阶锥的关系通过引入一个与圆锥规划互补条件等价的投影方程将问题转化为线性方程组求解,且在每步迭代中只需求解一个系数矩阵固定的线性方程组并执行两次投影运算.该算法还具有可以从任意初始点开始且不要求仿射约束系数矩阵的行向量组线性独立等特点.本文还在较弱的假设条件下证明了算法的全局收敛性.数值实验结果表明该算法快速有效.     

变分不等式的惯性次梯度外梯度算法

在实Hilbert空间中提出求解单调变分不等式的惯性次梯度外梯度算法，其中变分不等式的可行集是一个光滑凸函数的水平集.新算法应用惯性加速技巧，迭代过程中对映射F赋值一次，并只需向两个半空间作投影两次.在适当的假设下，证明该算法的弱收敛性.新算法改进和推广相关文献中的相应结果.     

修正的迭代近似梯度投影算法在压缩感知中的应用

通过设计一种新的Hessian矩阵的近似,得到函数在当前迭代点的二次近似模型,并利用该模型与延迟策略得出一种新步长.结合新步长,提出一种求解压缩感知中稀疏信号重构问题的修正迭代近似梯度投影算法,并给出收敛性证明.实验结果表明,该算法不仅能较好地恢复原始信号中的非零元素,有效地重构信号,而且与经典算法相比,重构效率较高.     

基于随机梯度上升和球面投影的通用对抗攻击方法

在面向样本集的通用对抗攻击中，导致多数样本输出错误的通用扰动设计是研究关键.本文以典型卷积神经网络为研究对象，对现有通用扰动生成算法进行总结，提出采用批量随机梯度上升训练策略和球面投影搜索策略相结合的通用扰动生成算法.算法的每次迭代计算，首先从样本集中抽取小批量样本，采用随机梯度上升策略计算出使损失函数值下降的通用对抗扰动，然后将通用扰动投影到半径为ε的高维球面上，从而缩小通用扰动的搜索空间.算法还引入了正则化技术以改善通用扰动的生成质量.实验结果证明该算法与基线算法对比，攻击成功率显著提升，通用扰动的求解效率提高约30倍.     

一个基于新光滑函数求解非线性互补问题的光滑算法

基于新的光滑函数,提出了一个求解非线性互补问题的光滑型算法.该算法可以从任意点出发,每一步迭代只需求解一个线性方程组,并进行一次线性搜索.在不需要满足严格互补条件下,证明了算法是全局收敛且是局部二阶收敛的.数值实验表明算法是有效的.     

一类随机Riccati矩阵代数方程的线性迭代解法

针对无穷区间随机线性二次最优控制问题对应的随机代数Riccati方程提出了线性迭代解法.算法中得到Liapunov线性代数方程解的序列,该序列收敛于随机Riccati代数方程的解.已有的理论算法针对该SARE得到的是非线性的常规Riccati代数方程解的序列,而通常每一次运用经典的Kleinman迭代方法求解常规Riccati代数方程,都是反复迭代求解Lia-punov线性代数方程的过程.这就使得本文算法相较于已有理论算法在针对特定类型SARE时,具有较好的性能.     

求解黑箱全局优化问题的一种改进的随机算法

提出了一个改进的随机算法求解黑箱全局优化问题,算法中使用的径向基函数插值是昂贵的目标函数的近似.算法在可靠的信赖域内通过简单而有效的方法选择下一个迭代点.在早期的迭代过程中,算法倾向于在响应面模型的全局最优值附近改善响应面模型的局部逼近精度.它可能暂时陷入局部最优,但它有能力在之后的迭代中探索可行域中的其他区域并改善响应面的全局逼近精度.数值实验结果说明了该算法的有效性.     

非线性规划问题的一个全局收敛的次可行方向法

本文给出非线性不等式约束最优化问题的一个初始点可行取的算法，利用梯度投影构造搜索方向，并使用符号函数对搜索方向和搜索函数进行有效的控制，使得一旦迭代点进入了可行域，其后的方向将成为可行下降方向，搜索函数将由罚函数变为原问题的目标函数（故称之为次可行方向法）在较为温和的条件下证明了方法的全局收敛性，及罚参数只需进行有限次调整。     

基于投影收缩的SA方法求解随机变分不等式问题

求解变分不等式的各种算法中,投影收缩算法易于执行、稳健、而且可以处理大规模问题,因此发展迅速.何炳生教授根据变分不等式及投影算子的性质确定的三个不等式,提出了求解变分不等式的投影收缩算法,此方法简单易行,且便于实现.用随机近似方法来求解随机变分不等式和随机优化问题已经被广泛的研究,其中函数值和一阶导数不可求,但可以用近似的方法得到.将投影收缩算法应用到求解随机变分不等式当中,在一些适当的条件下,可得到全局收敛的结果.     

基于Q学习的有限时间随机线性二次最优控制

针对系统状态和控制均依赖于噪声的随机线性离散时间系统,采用基于值迭代的Q学习迭代算法求解模型参数部分未知的有限时间随机线性二次(SLQ)最优控制问题。首先给出SLQ最优控制问题可达性条件和适应性条件,并通过矩阵拉格朗日乘子算法得到最优控制增益矩阵序列以及相应的随机代数Riccati方程(SARE)。其次,以值迭代算法为基础定义Q函数,利用Q学习迭代算法获得每个最优控制增益矩阵所对应的迭代控制增益矩阵序列和H矩阵序列。该算法依赖于系统状态信息,摆脱了系统模型参数部分未知的限制,并证明控制增益矩阵序列收敛到各自的最优控制增益矩阵,H矩阵序列收敛到各自的最优H矩阵。最后通过一个仿真实例说明了Q学习迭代算法的有效性。     

随机运输问题的对偶森林迭代算法

本算法从一个对偶森林向另一个对偶森林迭代。在非退化的情况下,每步迭代都使对 偶目标函数值严格增加,并在有限步内达到最优值,每步迭代最多只需解一个一维非线 性方程。在“宇宙６８０００”机上,对此算法进行了两个包括６００个以上变量的大型问题计 算,计算结果表明算法是可行有效的。     

FSFIS问题的基于随机kick的ILS&TS混合算法

提出了一种基于随机kick的迭代局域搜索算法(ILS)求解存储容量受限的流水车间问题(FSFIS)·该算法使用新颖的多对不交叉的交换移动构成kick移动,并采用回溯机制保证搜索在有利的空间内进行·通过应用4种邻域结构,每种情况下产生480组随机数据的试验证明该新型算法是快速有效的近优算法·设计了一种在原有的静态禁忌搜索算法中引入了基于随机kick的迭代局域搜索算法的混和算法,这种混合算法可以充分发挥原有的2种算法的各自优势,使目标函数进一步改进·     

一类二次投影算法的扰动分析

针对变分不等式的投影算法的一大特点是需要通过将当前迭代点投影到一个闭凸集上来产生下一步迭代点,从数值计算角度求到精确的投影几乎是不可能的,因此需要考虑当投影不能求到精确解时,对算法所产生的迭代序列的收敛性有什么影响.在经典的二次投影算法框架下,对其中的投影加以扰动,证明扰动项在小范围内变化时,经扰动后的二次投影算法仍然收敛.     

一种采用函数迭代运算的数据流挖掘方法

针对数据流的特点,提出利用函数迭代运算的方法来提取数据流中的频繁项集的挖掘方法.整个挖掘过程只需扫描数据流一次,不产生频繁候选集.算法的时间复杂度是比较低的.实验仿真结果也验证了该挖掘方法是有效的和可行的.     

优化极限学习机的序列最小优化方法

针对传统二次规划求解方法训练优化极限学习机(OMELM)存在速度慢和效率低的问题,提出了单变量迭代序列最小优化(SSMO)算法.该算法通过在框式约束中优化拉格朗日乘子来实现目标函数的最小化:首先在初始化拉格朗日乘子中选择使目标函数值下降最大的拉格朗日乘子,将该拉格朗日乘子作为目标函数的唯一变量;然后求解目标函数的最小值并更新该变量的值;重复这个过程直到所有的拉格朗日乘子都满足二次规划问题的Karush-Kuhn-Tucker条件为止.实验结果表明:SSMO算法只需调节很少的参数值便可得到足够好的泛化性能;采用SSMO算法的OMELM方法在泛化性能上要好于采用序列最小优化算法的支持向量机方法;在随机数据集测试中,SSMO算法具有较好的鲁棒性.     

一类求解约束离散不适定问题的积极集随机迭代方法

许多科学和工程领域的应用问题都可以归结为线性离散不适定问题的求解。考虑大规模带盒子约束的线性离散不适定问题的求解,提出一类基于积极集策略的随机内外迭代方法。基于积极集策略的内外迭代法在外层迭代上更新积极集和对应的非积极集,并采用投影算子,将不在可行域中的数值解分量投影到可行域边界上,同时在内层迭代上采用Krylov子空间方法求解无约束子问题。提出一类积极集迭代法,在内层迭代上采用高性能随机算法,依照概率分布选取子问题系数矩阵的列进行更新,并利用Armijo下降准则对迭代步长进行选择,这样就可以保证目标函数值随着迭代步数的增加而单调下降。在图像复原问题的数值实验中,验证所构造算法的高效性。在偏差准则的收敛条件下,新的积极集内外迭代法所利用的计算量、迭代步数和CPU时间都比前人提出的算法更少。