基于随机加速对偶下降算法的分布式网络流量优化

传统的分布式网络流量优化问题大都通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收效速度较慢。加速对偶下降（accelerated dual descent,ADD)算法通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法在不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快2个数量级。     

一种融合梯度信息的粒子群优化算法

针对粒子群优化算法(PSO)存在盲目搜索、收敛速度慢的问题，提出一种融合梯度信息的改进粒子群优化算法，简记为GIPSO(Gradient Information based PSO)。利用目标函数的梯度信息指导粒子朝着适应值更低的方向搜索，可有效避免粒子的盲目搜索行为。首先，在线性权重粒子群算法的进化公式中嵌入目标函数的梯度信息，有效提升了改进方法的收敛精度；其次，随机选择一半的粒子使用含有梯度信息的速度进化公式以降低算法的计算量，在标准测试函数上的仿真实验结果表明，GIPSO算法在收敛速度与收敛精度方面，均优于基本PSO算法，线性权重衰减PSO算法，正太分布权重PSO算法等传统方法。     

时延情形下的分布式随机无梯度优化算法

由于多个体系统在信息交流的过程中存在通信时延,系统会出现接收信息滞后的情况,从而影响优化算法的收敛速度。为了解决时延对优化算法产生的影响,提出了时延情形下的多个体系统分布式随机无梯度优化算法。假定系统中每个个体仅知道其自身的局部目标函数,利用系统中个体间交互时延信息来寻求这些局部目标函数之和的最小值,通过系统扩维将有时延的优化问题转化为无时延的优化问题。由于个体的局部目标函数有可能非凸故其次梯度不一定存在或很难计算,因而采用分布式随机无梯度方法。理论分析表明只要个体间的通信时延有上界,所提算法依然收敛。     

一类时变有向图中的PUSH-SUM分布式对偶平均优化算法

利用push-sum通信协议并结合分布式对偶平均方法,在时变有向图中,讨论了一类带有简单约束集的分布式凸优化问题.首先提出了push-sum分布式对偶平均算法,然后分析了算法的收敛性,并得到了算法的收敛率为■,最后用l_1线性回归问题的数值结果验证了所提出算法的有效性.对比现有的一些结果,所提出的算法能用于求解带约束的分布式优化问题,并且去掉了网络通讯权矩阵是双随机的限制.     

分布式在线随机投影优化

针对分布式网络在线处理数据流的问题,提出了一种基于在线学习的分布式随机投影优化算法——分布式在线随机投影算法。在带有时延非平衡有向图上,成本函数是局部目标函数之和,且每个节点仅知道局部目标函数信息,并在分布式在线随机投影算法作用下所有个体达成一致收敛。最后通过数值实验,验证了所提算法的有效性。     

时变网络拓扑图下智能电网中基于优化算法的分布式调度响应

就时变网络拓扑图下智能电网中基于优化算法的分布式调度响应问题进行了研究.利用原对偶方法将带有约束的智能电网优化问题转化为一个无约束的优化问题同时提出相应的求解算法.该算法允许不同发电机之间采用异构常数步长进行更新,同时给出了算法的收敛速度.理论推导表明文中所提出的算法能以线性收敛的速度达到该问题的最优解.     

一个具有对偶适应度函数的遗传算法

提出一个具有对偶适应度函数的遗传算法.该法提供了一个阈值,利用对偶适应度函数值辨别全局最优盆和局部最优盆.根据辨识结果,自适应地设置变异概率.对几种典型函数的测试结果表明,该法的全局收敛性能及收敛速度优于标准遗传算法.     

分布式流言push-sum无梯度算法

研究多个体网络中所有个体目标函数之和最小值问题,其中每个个体仅知其自身目标函数且仅可与其邻居个体交互信息。鉴于个体目标函数通常非光滑,同时个体间单变量信息通信有一定局限性,本文提出一种分布式流言push-sum无梯度算法求解此优化问题。假设每个个体都具有一个服从泊松分布的控制时钟,时钟的每次转动表示随机选择的个体之间进行信息更新。进一步地,在网络连通条件下证明了所提算法的收敛性。数值仿真结果表明,与现有的分布式流言无梯度优化算法相比,本文算法具有更快的收敛速度。     

数据丢包情形下分布式无梯度Push-sum算法

针对多个体网络中个体信息交互常会出现数据丢包及个体目标函数次梯度难以计算或不存在的问题,提出数据丢包情形下分布式无梯度Push-sum算法,该算法要求网络的权矩阵为列随机而无需是双随机。通过增加虚拟节点进行系统扩维,从而建立一个有限的非均匀的马尔可夫链,并结合遍历性系数的结论证明了所提算法的收敛性。研究表明:收敛误差值与高斯近似函数的光滑参数、目标函数的Lipschitz常数成正比,从而有效解决了数据丢包及个体目标函数次梯度不存在或难以计算的分布式优化问题。     

切换网络下加速分布式在线加权对偶平均算法

研究了切换网络下加速分布式在线加权对偶平均算法,提出了A-DOWDA算法。首先利用加权因子对对偶变量进行加权,其次在有向切换网络是周期强连通,且对应的邻接矩阵是随机的而非双随机的条件下,加速了算法的收敛速率,最后通过数值实验验证了算法的可行性。