基于随机梯度下降算法的公安视频侦查图像修复

在公安业务中,图像情报分析对于还原犯罪现场至关重要,在实际视频图像的收集过程中,图像的缺损和破坏难以避免。在研究视频侦查的基础上,引入基于随机梯度下降的张量链分解算法对受损图像进行修复,研究表明,这一方法能有效地修复受损的视频图像信息,去除噪音,找回丢失的数据,为后续的分析工作提供良好的条件,减少情报失误,提高警务工作效率。     

分组随机梯度下降法：掉队和延迟的平衡

分布式随机梯度下降法被广泛应用于大规模机器学习,同步随机梯度下降法和异步随机梯度下降法是两个典型的分布式随机梯度下降法.在同步随机梯度下降法中,所有的工作节点都需要互相等待,导致训练速度受限于最慢的工作节点.在异步随机梯度下降法中,延迟的梯度会造成最终训练得到的模型很差.为此提出一种新的分布式随机梯度下降法:分组随机梯度下降法.该方法将通信和计算性能相近的工作节点划入同一组,这样就会将工作节点划分成若干的组.在同一组的工作节点以同步的方式工作,不同的组之间以异步的方式工作.由于组内的工作节点只需互相等待很短的时间,该方法可以缓解同步随机梯度下降法的掉队问题.由于组的数目远小于工作节点的数目,该方法梯度的延迟也很小.理论分析证明了该方法的收敛性.仿真结果表明,在异质集群中该方法的收敛速度比同步随机梯度下降法和异步随机梯度下降法更快.     

一类基于共轭梯度法的下降算法

共轭梯度法是求解大规模我约束优化问题的有效算法之一,近年来出现了很多共轭梯度法收敛性的相关文献。本文研究基于共轭梯度法的下降算法,证明了算法的收敛性,并对算法进行了数值试验,结果表明算法是很有效的。     

基于随机加速对偶下降算法的分布式网络流量优化

传统的分布式网络流量优化问题大都通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收效速度较慢。加速对偶下降（accelerated dual descent,ADD)算法通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法在不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快2个数量级。     

基于梯度的随机微粒群算法

在随机微粒群算法和函数梯度信息基础上,文章提出了基于梯度的随机微粒群算法.该算法既有随机微粒群算法的优点,又有梯度法的较高收敛性和精度,数值计算表明算法对于求解连续可微函数的全局优化问题是非常有效的.     

带有方差减小的加权零阶随机梯度下降算法

随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题.     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛．混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题．同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例．     

一种改进的自适应动量梯度下降算法

为改进Adam算法存在的全局收敛性较差的问题,提出一个带有角系数的AngleAdam算法．该算法利用两次连续梯度间的角度信息自适应控制步长,一定程度改进了Adam算法全局收敛性较差的问题,提升了优化能力．采用在线学习框架,对算法从遗憾界的角度进行收敛性分析,证明了AngleAdam具有次线性的遗憾．基于构造的三个非凸函数和深度神经网络模型,对AngleAdam算法的优化能力进行实验,实验结果表明该算法可得到较好的优化结果．     

一种基于梯度下降算法的蜕变关系生成方法

针对当前蜕变关系构造多数依赖测试人员测试程序时所在领域知识, 存在局限性和高成本的问题, 提出一种新的蜕变关系生成方法. 该方法将蜕变关系的构建与梯度下降算法相结合, 通过分析大量测试用例及其输出之间的数值关系生成对应的蜕变关系. 对比实验结果表明, 该方法可有效降低测试人员对相关领域知识的依赖性.     

一种基于梯度下降算法的蜕变关系生成方法

针对当前蜕变关系构造多数依赖测试人员测试程序时所在领域知识, 存在局限性和高成本的问题, 提出一种新的蜕变关系生成方法. 该方法将蜕变关系的构建与梯度下降算法相结合, 通过分析大量测试用例及其输出之间的数值关系生成对应的蜕变关系. 对比实验结果表明, 该方法可有效降低测试人员对相关领域知识的依赖性.     

排序框架下梯度下降迭代本体算法

从本体顶点排序的思想入手,得到排序框架下梯度下降迭代本体算法。选取边集合作为样本集,使用再生核希尔伯特空间作为函数空间,用步长控制迭代次数。最后,将得到的本体相似度计算和本体映射算法分别作用于植物学PO本体和计算机软件本体中,通过实验数据对比说明算法具有较高的效率。     

梯度下降法

该文提出了一个无约束优化的新算法——梯度下降法。该法利用已得迭代点的信息,根据|g_(k+1)|≤|g_k|的要求,通过解非线性方程组g=g_(k+1)得下一个迭代点x_(k+1)。该法特点是:不需进行一维搜索;对正定二次函数具有二步迭代收敛性;对连续可微的凸函数保证收敛到全局极小点;其收敛域比牛顿法大;收敛速度比牛顿法慢些,但比著名的BFGS变尺度法和FR共轭梯度法快。     

凸-凹极小极大优化问题的零阶梯度下降上升算法

【目的】为了解决基于梯度下降上升算法在某些应用中,目标函数的梯度信息计算昂贵或难以获取的问题。【方法】基于此,针对一类凸-凹极小极大优化问题,在梯度下降上升算法(OGDA)的框架下,基于均匀分布的平滑化方法用差商来近似函数梯度信息,提出了一类零阶梯度下降上升算法(ZO-OGDA)。【结果】基于带误差的邻近点算法的收敛性分析理论,证明得到所提算法ZO-OGDA取得ε-稳定点的迭代复杂度为O(ε^-1)。【结论】最后通过数值仿真,实验结果表明所提出的算法ZO-OGDA在数值上与算法OGDA表现相近。     

基于梯度下降法的双能CT双物质分解算法

基物质分解是双能CT重建的重要步骤,其中双物质分解是常用的分解模型之一,该模型的核心关键是计算分解系数投影.为了更快计算它,提出了基于误差反馈梯度下降的双能CT双物质分解算法和基于Armijo-Goldstein梯度下降的双能CT双物质分解算法.由于计算了梯度下降步长,这两种方法能快速迭代求解基物质分解系数投影.同时他们有效地解决了双能CT重建的非线性问题.仿真实验结果显示,与传统查表匹配法相比,这两种算法稳定收敛,计算速度快,重建精度高,对临床应用有重要的意义.在重建结果精度近似的情况下,基于Armijo-Goldstein梯度下降的算法采用不精确线性搜索步长,因此它的运行速度更快.     

随机梯度估值在盲均衡算法中的影响

利用代价函数求梯度值,再利用梯度值进行迭代是一种最速下降法,在各种盲均衡算法中广泛使用,其收敛速度较快,收敛误差较小,但未考虑信道中随机多变的噪声对其产生的影响.该文引入随机梯度估值,在梯度向量中加入噪声成分,结合梯度估值引起的权偏差相关系数,分析其对盲均衡算法的影响.理论研究和仿真结果表明,随机梯度估值引起权值偏差,影响着算法的收敛速度和剩余误差.     

改进型限幅递推平均滤波法在燃油表中的应用

汽车在颠簸、急加速、急减速、急转弯等工况时,油箱油液面会产生急剧变化,导致采集到的油量数据有较大的误差,从而降低燃油表指示准确性和平稳性。针对以上问题,提出限幅滤波、递推平均滤波相结合的滤波方法;该改进滤波算法能更好地滤除信号中的偶然尖峰脉冲干扰及周期性干扰;同时结合滤波参数寻优算法,确定了递推平均滤波最优参数。利用MATLAB进行仿真。仿真结果表明,所提出的改进型滤波算法能更好地滤除油量信号中的干扰信号,提高了油量数据的准确性和平滑性;还保证了燃油系统数据处理的实时性,满足燃油系统的设计要求。     

梯度下降优化模糊系统的接触电阻预测方法

根据接触电阻的特点,将结合模糊逻辑的预测方法引入电气领域,提出基于模糊系统的接触电阻预测新方法.根据接触电阻与各影响因素之间的关系及研究目的进行试验,得到足量试验数据,将所有试验数据分成两部分,训练数据和测试数据.通过训练数据运用梯度下降算法训练模糊系统,调整模糊系统参数,建立相应的接触电阻模型,利用训练数据建立接触电阻的回归分析模型.通过测试数据对两种模型进行测试,基于模糊系统的接触电阻模型的测试结果优于回归分析.预测与比较结果表明:若能得到足量训练数据,用梯度下降算法训练模糊系统建立的接触电阻模型精确可靠.