时延情形下的分布式随机无梯度优化算法

由于多个体系统在信息交流的过程中存在通信时延,系统会出现接收信息滞后的情况,从而影响优化算法的收敛速度。为了解决时延对优化算法产生的影响,提出了时延情形下的多个体系统分布式随机无梯度优化算法。假定系统中每个个体仅知道其自身的局部目标函数,利用系统中个体间交互时延信息来寻求这些局部目标函数之和的最小值,通过系统扩维将有时延的优化问题转化为无时延的优化问题。由于个体的局部目标函数有可能非凸故其次梯度不一定存在或很难计算,因而采用分布式随机无梯度方法。理论分析表明只要个体间的通信时延有上界,所提算法依然收敛。     

分布式流言push-sum无梯度算法

研究多个体网络中所有个体目标函数之和最小值问题,其中每个个体仅知其自身目标函数且仅可与其邻居个体交互信息。鉴于个体目标函数通常非光滑,同时个体间单变量信息通信有一定局限性,本文提出一种分布式流言push-sum无梯度算法求解此优化问题。假设每个个体都具有一个服从泊松分布的控制时钟,时钟的每次转动表示随机选择的个体之间进行信息更新。进一步地,在网络连通条件下证明了所提算法的收敛性。数值仿真结果表明,与现有的分布式流言无梯度优化算法相比,本文算法具有更快的收敛速度。     

有向网络异步PUSH-SUM次梯度优化算法的研究

研究了基于异步信息通信的有向网络分布式Push-sum次梯度优化算法。假定有向网络优化问题目标函数可分解成网络中所有个体各自的目标函数之和,且每个个体仅知道其自身目标函数,并通过与邻居个体进行局部信息异步通信对其自身目标函数进行优化计算,从而协同地使整个网络的优化问题目标函数达到最优。在每个个体目标函数的次梯度有界的条件和随机切换有向网络是一致强连通条件下,证明了Push-Sum次梯度优化算法收敛且其收敛结果为Ο（tN e-κt ＋ln t/t）。     

分布式在线随机投影优化

针对分布式网络在线处理数据流的问题,提出了一种基于在线学习的分布式随机投影优化算法——分布式在线随机投影算法。在带有时延非平衡有向图上,成本函数是局部目标函数之和,且每个节点仅知道局部目标函数信息,并在分布式在线随机投影算法作用下所有个体达成一致收敛。最后通过数值实验,验证了所提算法的有效性。     

基于Bandit反馈的分布式在线对偶平均算法

为解决梯度信息难以获取的分布式在线优化问题,提出了一种基于Bandit反馈的分布式在线对偶平均(DODA-B)算法。首先,该算法对原始梯度信息反馈进行了改进,提出了一种新的梯度估计,即Bandit反馈,利用函数值信息去近似原损失函数的梯度信息,克服了求解复杂函数梯度存在的计算量大等问题。然后,给出了该算法的收敛性分析,结果表明,Regret界的收敛速度为O(T~(max{k,1-k})),其中T是最大迭代次数。最后,利用传感器网络的一个特例进行了数值模拟计算,计算结果表明,所提算法的收敛速度与现有的分布式在线对偶平均(DODA)算法的收敛速度接近。与DODA算法相比,所提出算法的优点在于只考虑了函数值信息,使其更适用于梯度信息获取困难的实际问题。     

网络切片中物理节点的分布式在线异常检测方法

网络切片中的异常检测问题是实现网络切片自动化管理的重要研究内容,针对网络切片中物理节点的异常检测问题,提出了基于支持向量数据描述的分布式在线物理节点异常检测方法.基于支持向量数据描述建立了一种分布式的物理节点异常检测模型;通过引入随机近似函数,解决了数据分布式存储场景下的核函数计算问题,从而实现观测数据的切片内处理;基于随机梯度下降法,提出了一种在线的物理节点异常检测算法,保证了模型动态更新并减轻了异常数据导致的模型性能下降.在不同条件下进行了仿真分析,仿真结果表明,该方法可在避免切片间观测数据传输的同时,有效利用网络切片中虚拟网络功能的无标签观测信息检测物理节点异常.     

一主多从两层非光滑优化问题的集成算法

对于一类一主多从两层非光滑优化问题,提出了将置信域束法和变尺度法结合起来的一种集成算法．该算法能自适应地将变尺度法嵌入到束法的内部迭代中去,从而能够充分利用束法的全局收敛性和变尺度法的快速收敛速度．研究了模型构成函数的Ｌｉｐｓｃｈｉｔｚｉａｎ性,给出了计算目标函数次梯度的方法,分析了算法思想、步骤,最后讨论了算法的收敛性     

带有方差减小的加权零阶随机梯度下降算法

随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题.     

基于随机加速对偶下降算法的分布式网络流量优化

传统的分布式网络流量优化问题大都通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收效速度较慢。加速对偶下降（accelerated dual descent,ADD)算法通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法在不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快2个数量级。     

多用户最优化的两种对偶方法

采用多用户问题的梯度近似分布式算法,对多用户最优化的原始对偶方法和正规化对偶方法进行了比较,集中于多用户凸最优化问题的概括,其中目标函数和约束函数不可分,而目标函数可通过非线性组约束,使用户决定耦合;在算法中,对原始对偶方法和正规化对偶方法可考虑不变步长,采用跨用户自然迭代计算,使每个用户能够只更新自身的决策变量．     

基于非光滑分析的凸优化问题分布式量化算法

研究了量化信息通信情况下的多个体网络分布式凸优化算法。个体之间通过固定拓扑无向图交流信息,利用边laplacian矩阵,将个体的状态信息转化为个体间的边状态信息;进而对边的状态信息进行量化,而信息量化导致原成本函数产生了非光滑问题,通过构造合适的Lyapunov函数并引入了非光滑分析求其梯度,证明了在所提优化算法作用下整个网络系统的状态最终一致有界。     

基于Alopex的进化优化算法

提出了一种基于Alopex的进化优化算法。该算法在进化过程中从种群中随机选择2个个体,通过计算2个个体和目标函数值的变化情况,确定算法进一步搜索方向的概率,逐步迭代最终收敛到全局最优。该算法具备基本进化算法的特点,同时具备Alopex算法的优点,即在一定程度上具有梯度下降法和模拟退火算法的优点。对典型函数的测试表明:新算法的全局搜索能力有了显著提高,特别是对多峰函数能够有效地避免早熟收敛问题。     

移动边缘计算中分布式的设备发射功率优化算法

针对大规模移动边缘计算网络架构中的用户设备计算卸载时所需的通信和计算资源难以协同优化的问题,提出了一种基于马尔可夫近似的分布式发射功率优化算法。基于香农定理和链路传输特性,将用户功率最小化策略建模成组合优化模型,通过Log-Sum-Exp函数将目标模型转化为最小权重配置的近似问题;针对该近似问题,提出了马尔可夫状态跳转的规则和分布式的设备自调节机制以实现高效求解。实验结果表明:与随机优化算法相比,该算法的系统用户设备发射总功率优化效果提升了78.5%,在给定场景下,穷举搜索最优解的计算复杂度可达410,而该算法仅需要迭代优化130次即可逼近最优解,能够有效减少通信和计算时延,确保发射功率的调整结果快速向最优目标收敛。     

基于双群体的非线性约束规划进化算法

在求解非线性约束规划问题中,对其约束条件的处理是一个难点问题.本文提出了一个非线性约束规划的双群体进化算法,与以往存在的约束优化算法不同之处在于:定义个体对约束条件的函数值作为约束违犯度对群体中的个体进行度量,目标函数值作为最优解的度量.首先考虑了标准的约束规划问题,简单介绍了约束优化问题中约束条件的处理方法,给出了与这些方法不同的处理方法.针对约束违犯度,定义了两个群体,即可行群体与不可行群体.然后给出了双群体进化算法详细步骤,用5个Benchmark函数测试了此算法,并通过与其它已知算法对此5个函数的计算结果的比较,验证了算法的可行性和有效性.     

发散步长准则下的增量聚合梯度算法

针对目标函数是若干光滑函数之和的优化问题,提出采用发散步长准则的增量聚合梯度算法。与增量梯度算法一样,增量聚合梯度算法的每次迭代也只需要计算其中一个函数的梯度。目前关于增量聚合梯度算法的研究主要是采用常值步长的增量聚合梯度算法,这一算法要求目标函数二阶连续可微且强凸,且常值步长的选取依赖最优点的二阶导数;而发散步长准则不依赖目标函数。在目标函数的梯度有界且李普希兹连续假设条件下,证明了采用发散步长的增量聚合梯度算法的收敛性;最后,通过数值例子验证了算法的收敛性,并与采用相同步长准则的增量梯度算法进行比较;数值结果表明对于某些优化问题,增量聚合梯度算法比采用相同步长的增量梯度算法更有效。     

基于分布式算法在WSN中的能耗最小化优化研究

如何有效利用节点能量并延长网络的生存期是研究无线传感器网络的一个核心问题.在已有的集中式算法的基础上,提出了一种分布式优化的方法,使无线传感网络中无损数据收集时的能量消耗最小化,此方法主要是通过将传输功率和压缩传输速率进行合理的配置来实现,运用拉格朗日对偶分解法,可以把能量最小化这个问题分解为能够被传感节点本身分布式解决的子问题.通过仿真结果可得,分布式算法相比集中式算法能使目标函数更快收敛从而达到能耗最小化.     

基于排队论的实时以太网缓存队列优化算法

提出了基于排队论的实时以太网缓存队列优化算法.首先对数据帧在实时以太网缓存队列中的传输过程进行分析,确定了数据帧排队延时是影响网络延时的主要因素;然后根据随机过程理论得到数据帧进入缓存队列的过程符合Poisson分布.针对该分布模型,用排队论对数据帧排队延时及丢包建立基于通信损失代价的数学模型,以损失代价最小为目标函数,再利用边际法计算出目标函数取极值时的最佳队列长度.仿真实验验证了模型的准确性和优化算法的有效性.     

一种RMPKC体制的改进方案

针对有理多变量公钥密码系统(RMPKC)曾被改进的2R分解算法成功攻破这一问题,文中提出了一种RMPKC体制的改进方案.该方案的核心思想是将第一个有理映射的函数次数变为三次,第二个有理映射的函数次数保持不变.文中证明了这种改进方法能够使得2R分解算法的条件不被满足,因此能够抵抗目前的2R分解算法;文中还证明了,当第二个有理映射的函数次数是三次、第一个有理映射的函数次数保持不变时,2R分解算法仍有效.     

基于模糊单类支持向量机的丢包区分算法

针对现有丢包区分算法难以获取先验知识和不具有推广性的问题,通过对模糊单类支持向量机的改进提出一种新的丢包区分算法。该算法根据无线误码丢包与按序到达包的时延特征分布一致的特点,由按序到达包的时延特征构成训练集,从而将区分误码丢包和拥塞丢包的二分类问题转化为判断丢包是否为误码丢包的单分类问题。由于无需采集两类丢包样本,解决了难以获取先验知识的问题,使新算法能实现在线的模型训练和丢包区分,具有很好的推广能力。仿真结果显示,新算法区分效果良好,提高了无线网络的传输效率。     

一类非凸-强凹极小极大问题的零阶优化算法

极小极大问题是博弈论和机器学习中的一类重要问题。目前已有大量基于目标函数的梯度和Hessian阵信息的优化算法来求解这类问题。但在有些应用中,目标函数的梯度或Hessian阵信息往往是计算昂贵或难以获取的。为此,针对一类非凸-强凹极小极大问题,在极小极大三次正则化牛顿算法的框架下,通过基于Stein恒等式的高斯平滑化方法来近似梯度与Hessian阵信息,进而提出一类零阶极小极大三次正则化牛顿算法。分析算法的收敛性,并得到算法达到一个二阶平稳点时的迭代复杂度为O（ε-3/2）,其中ε是算法终止所达到的精度。数值仿真实验结果表明：在相同的精度下,所提出的算法在CPU运行时间上优于极小极大三次正则化牛顿算法。