分布式流言push-sum无梯度算法

研究多个体网络中所有个体目标函数之和最小值问题,其中每个个体仅知其自身目标函数且仅可与其邻居个体交互信息。鉴于个体目标函数通常非光滑,同时个体间单变量信息通信有一定局限性,本文提出一种分布式流言push-sum无梯度算法求解此优化问题。假设每个个体都具有一个服从泊松分布的控制时钟,时钟的每次转动表示随机选择的个体之间进行信息更新。进一步地,在网络连通条件下证明了所提算法的收敛性。数值仿真结果表明,与现有的分布式流言无梯度优化算法相比,本文算法具有更快的收敛速度。     

量化状态下Push-sum算法及分布式强凸优化

在时变网络图中,研究push-sum算法在量化情形下对于分布式优化问题的收敛情况,并且个体所持有的局部目标函数是强凸函数.基于算法本身的更新规则进行理论推导给出收敛分析.在一个多个体网络结构中,考虑每个节点之间只能交换量化过后的信息,采用均匀量化的方式进行探究.通过理论给出收敛性分析,并说明在量化情况下产生何种影响.经过证明得到每个节点的状态收敛到最优解附近.     

一类非凸非光滑优化问题的近似uv-分解方法

uv-分解理论是侧重于非光滑函数的光滑信息来研究凸函数的二阶近似,从而得到凸优化问题有效算法的一种新方法.应用uv-分解理论研究一类非光滑优化问题,此问题作为许多随机优化问题的子问题,它的求解方法对处理随机优化问题有重要作用.将所研究的问题适当地转化为一类由两个非光滑函数的和的无约束优化问题,由于无法直接利用uv-分解理论,所以借助其中一个函数的光滑凸近似,得到了目标函数的近似函数.应用uv-分解理论给出该函数的U-lagrangian函数及其基本性质,目标函数的二阶近似,进而给出了求解原问题的近似uv-分解算法以及算法的收敛性证明.     

基因算法在求解非光滑优化问题中的应用 (三峡地区资源环境生态研究)

本文考虑了基因算法在求解非光滑优化问题中的应用。非光滑优化方法致力于求解目标函数为连续不可微函数的数学规划问题。因为目标函数的不可微性,传统的以梯度为基础的确定性算法在求解非光滑问题时会遇到障碍,所以运用不需要梯度信息而只需要目标函数值信息的遗传算法来求解非光滑问题是一个不错的选择。遗传算法是基于自然界生物遗传变异过程而设计的一种优化算法,它首先对问题的可行解进行编码,编码方法有0-1编码,格雷编码和实数编码,然后运用交叉算子,变异算子和选择算子产生下一代种群。当种群迭代达到一定的次数后,种群中的最优染色体就会收敛到原问题的最优解。本文设计的基因算法基于实数编码,算子分别采用算术交叉算子,非一致变异算子,最佳选择算子。     

时延情形下的分布式随机无梯度优化算法

由于多个体系统在信息交流的过程中存在通信时延,系统会出现接收信息滞后的情况,从而影响优化算法的收敛速度。为了解决时延对优化算法产生的影响,提出了时延情形下的多个体系统分布式随机无梯度优化算法。假定系统中每个个体仅知道其自身的局部目标函数,利用系统中个体间交互时延信息来寻求这些局部目标函数之和的最小值,通过系统扩维将有时延的优化问题转化为无时延的优化问题。由于个体的局部目标函数有可能非凸故其次梯度不一定存在或很难计算,因而采用分布式随机无梯度方法。理论分析表明只要个体间的通信时延有上界,所提算法依然收敛。     

数据丢包情形下分布式无梯度Push-sum算法

针对多个体网络中个体信息交互常会出现数据丢包及个体目标函数次梯度难以计算或不存在的问题,提出数据丢包情形下分布式无梯度Push-sum算法,该算法要求网络的权矩阵为列随机而无需是双随机。通过增加虚拟节点进行系统扩维,从而建立一个有限的非均匀的马尔可夫链,并结合遍历性系数的结论证明了所提算法的收敛性。研究表明:收敛误差值与高斯近似函数的光滑参数、目标函数的Lipschitz常数成正比,从而有效解决了数据丢包及个体目标函数次梯度不存在或难以计算的分布式优化问题。     

多智能体网络有限时间聚集控制

为解决个体动态为一阶积分器的多智能体网络的有限时间聚集控制问题, 提出基于势能函数的控制方案。依据状态信息采用势能函数法设计了分布式非线性非光滑控制协议。基于微分包含、广义梯度和集值李导数的定义以及非光滑分析中不变集原理, 进行了有限时间稳定性分析, 给出网络可实现有限时间聚集控制的充分条件。最后通过仿真验证了理论方案的有效性。     

一类联合最大特征值函数优化问题

非光滑凸优化问题是运筹学的一类重要问题.束方法作为解决非光滑凸优化问题最有效的方法之一,已经被广泛地应用于各个领域.运用束方法对最大特征值函数与一般非光滑凸函数之和的优化问题进行研究.首先,对目标函数进行近似;其次,给出求解此类优化问题的带有罚项的束方法算法;最后,通过收敛性分析证明了算法产生的序列会收敛到原问题的最优解.     

极大值函数Clarke广义Jacobi计算的新算法

基于计算Clarke广义Jacobi在非光滑优化数值方法中的必要性,针对一类非光滑函数——极大值函数进行研究,通过对一不等式系统具备特定形式解所需条件的考虑,给出了计算此类函数Clarke广义Jacobi中一个元素的新方法.数值试验表明,与以往算法相比,该算法减小了计算量、简单易行、容易实现.     

近似非精确加速迫近梯度方法求解一类最大特征值函数极小化问题

非精确加速迫近梯度(IAPG)算法,用于解决问题min{F(X)=f(X)+g(X):X∈Sn},其中函数f:Sn→R是连续可微的,且▽f是Lipschitz连续的,函数f,g均是正常的,下半连续凸函数(可能非光滑).利用近似IAPG算法借助于非光滑函数的光滑近似,解决非光滑函数中最大特征值函数与一般非光滑函数g(x)的和的极小化问题,得出近似IAPG算法,并给出了收敛性分析.将近似IAPG算法用于求解带有线性约束的最大特征值函数的优化问题.     

分布式在线随机投影优化

针对分布式网络在线处理数据流的问题,提出了一种基于在线学习的分布式随机投影优化算法——分布式在线随机投影算法。在带有时延非平衡有向图上,成本函数是局部目标函数之和,且每个节点仅知道局部目标函数信息,并在分布式在线随机投影算法作用下所有个体达成一致收敛。最后通过数值实验,验证了所提算法的有效性。     

求解互补问题的Newton-Krylov-Schwarz算法

提出一类并行的半光滑Newton-Krylov-Schwarz算法来解决互补问题.利用半光滑函数,通过解大规模稀疏非线性代数方程组,得到此类优化问题的数值解.计算结果表明此算法的可行性.     

有向网络异步PUSH-SUM次梯度优化算法的研究

研究了基于异步信息通信的有向网络分布式Push-sum次梯度优化算法。假定有向网络优化问题目标函数可分解成网络中所有个体各自的目标函数之和,且每个个体仅知道其自身目标函数,并通过与邻居个体进行局部信息异步通信对其自身目标函数进行优化计算,从而协同地使整个网络的优化问题目标函数达到最优。在每个个体目标函数的次梯度有界的条件和随机切换有向网络是一致强连通条件下,证明了Push-Sum次梯度优化算法收敛且其收敛结果为Ο（tN e-κt ＋ln t/t）。     

一种新的求解带等式约束的极大极小问题的罚函数

通过对经典的一类简单精确非光滑罚函数进行局部光滑化处理,及相应调整罚参数和光滑参数,构造出一种新的简单的光滑罚函数,将带等式约束的极大极小问题转化为对罚函数的无约束优化问题.初步的数值实验表明该罚函数算法是可行有效的.     

非凸不可分离问题的广义交替方向乘子法的收敛性

交替方向乘子法（ADMM）是求解大规模优化问题和非凸非光滑问题的一种有效的方法,但当目标函数为非凸非光滑的情况时,原始ADMM算法的收敛性无法保证,且若目标函数中存在耦合函数,则算法的收敛性证明将更为复杂。在现实生活中存在的很多问题,其本质都是非凸的。因此,本文提出了一种改进的ADMM算法。与原始ADMM算法相比,该算法引入了一个松弛因子$\alpha $,构造了一种广义交替方向乘子法（GADMM）来求解具有线性约束的非凸不可分离优化问题。在一定的假设条件下,通过假设增广拉格朗日函数满足K-L不等式,证明了当惩罚参数足够大时,算法生成的序列收敛到增广拉格朗日函数的稳定点。     

一个广义三次样条光滑半监督支持向量机

研究半监督支持向量机分类优化模型的非光滑问题。建立了光滑半监督支持向量机模型,采用广义三弯矩法导出零点二阶光滑的广义三次样条函数,并以此逼近半监督支持向量机优化中的非光滑部分。构造出基于上述样条函数的具有一阶光滑的半监督支持向量机,从而可以用优化中的光滑算法来求解该模型。分析了广义三次样条函数逼近对称铰链损失函数的逼近精度,证明了新模型的收敛性。数值实验显示新模型有较好的分类效果。     

一种改进的粒子群优化算法

在粒子群优化算法的基础上,将粒子群优化算法的速度更新公式中种群最优位置用所有个体的平均值与最优粒子有限邻居个体的平均值加权求和代替;通过将种群平均适应度和整体最优位置适应度的比值作为适应度函数,并引入了加速系数;得到改进的粒子群优化聚类算法既能够充分参考当前粒子的最优信息,也参考了所有个体的最优信息和当前最优粒子有限邻居的最优信息,在进化过程中可以通过新的适应度函数自适应地调整全局搜索和局部搜索的比重对粒子的影响,对算法收敛速度影响较小的前提下较好地提高了收敛精度。最后,选取了4组具有不同分布特征的Benchmark函数作为验证函数,试验结果表明,新算法具有较好的收敛特性。     

基于不确定度量化加权的CKF算法

针对传感器网络中每个传感器节点的邻接节点状态估计值不确定度不同的问题,提出一种基于不确定度量化加权的一致性卡尔曼滤波算法(CKF).该算法通过考虑节点度数对于传感器网络估计精度的影响,结合节点度数提出了一种衡量邻接节点状态估计值不确定度的量化函数,并把量化值作为该邻接节点与当前节点的状态估计值偏差的融合权重引入一致性协议中,利用优化后的一致性协议对传感器节点先验估计值进行更新,可提高一致性卡尔曼滤波算法的估计精度;算法同时具有非一致性误差小和鲁棒性强等特点.最后在3种不同网络类型下,通过动态目标跟踪实验仿真验证了算法的有效性.     

非线性互补问题的一类光滑逼近函数

通过NCP-函数,非线性互补问题可以转化为求解一个非光滑方程组,利用光滑逼近函数可以用一个光滑方程组逼近该非光滑方程组.本文提出了一类新的光滑逼近函数,它是Chen和Harker提出的变尺度内点光滑函数的推广,并证明了该类光滑函数和变尺度内点光滑函数具有相同的重要性质的.因此,该类光滑函数适用于线性互补问题的非内点路径跟踪算法.     

多面体约束非光滑复合函数的序列有效集方法

对带多面体约束的非光滑复合函数问题的求解进行了研究。针对非光滑复合函数问题,首先,构造光滑函数来逼近非光滑目标函数,通过求解光滑近似问题来达到求解原问题的目的。在此基础上,考虑多面体约束的特殊结构,运用序列二次规划算法的思想,利用有效集策略,通过逐次求解一系列仅含等式约束的二次规划问题来逼近搜索方向的最优解,再通过线搜索求得步长,进而得到下一步的迭代点。最后,从理论上证明了算法的全局收敛性,并进行了初步的数值实验。将该算法与光滑序列投影收缩算法作对比,结果表明,该算法在迭代次数和计算时间上都有一定的优势。