基于矩阵型惯性投影神经网络的非负矩阵分解算法

提出一种基于矩阵型神经动力学优化的非负矩阵分解算法.将矩阵非负分解优化问题首先转换为两个矩阵变量凸优化子问题，针对其子问题分别提出矩阵型惯性投影神经网络；然后，采用交替迭代方案寻找矩阵非负分解优化问题的解.理论分析证明了矩阵型惯性投影神经网络能收敛于矩阵变量凸优化子问题的最优解，并且基于矩阵型神经网络的交替迭代算法可以收敛到矩阵非负分解优化问题的偏最优解.最后，所提出的基于矩阵型神经网络的交替迭代算法被有效地应用于人脸识别.     

非负矩阵分解及其改进方法

首先,给出非负矩阵分解的数学形式,分析欧式距离和相对熵(KL)散度两种分解误差评价函数.然后,针对3种特殊形式的非负矩阵进行分解方法的改进,优化函数和迭代过程分别适用于正交非负矩阵、凸非负矩阵、投影非负矩阵的分解.结果表明:提出的改进方法简化了非负矩阵分解的过程.     

不等式约束的凸二次规划问题的新算法

目的 研究求解不等式约束凸二次规划的新算法。方法 根据广义乘子法的思想,将具有不等式约束的凸二次规划问题转化为只有部分分量带非负约束的凸二次规划,通过解此简单凸二次规划问题建立凸二次规划的新算法。结果 新算法不用求逆矩阵,这样可充分保持矩阵的稀疏性,可用来解大规模稀疏问题。结论数值结果表明,在４８６／３３微机上就能解较大规模的凸二次规划。     

基于新迭代规则的稀疏CNMF人脸识别方法

针对凸非负矩阵分解(CNMF)人脸识别方法的运行时间长且识别率不高的问题,提出一种可收敛的易于计算的新目标函数,并引入阈值稀疏约束,得到新的迭代规则,可有效提高识别率和减少计算时间.首先,图像经预处理后得到低频训练样本,经由新迭代规则的稀疏凸非负矩阵方法分解,得到特征的稀疏基矩阵和权值系数矩阵;然后,基于稀疏特征基矩阵对测试样本进行分解,得到测试集的特征权值系数矩阵;最后,使用一对一支持向量机对该特征权值系数矩阵进行识别分类.基于新规则的稀疏化基矩阵数据更为集中,因此相应系数矩阵中特征的权值也更为集中,易于进行分类识别.实验结果表明:基于新迭代规则的稀疏CNMF方法的识别率可达到100%,比凸非负矩阵分解、稀疏非负矩阵分解、多层非负矩阵分解方法分别提高了33.0%,10.0%和5.5%,并且识别时间更短,图像重构误差更小.     

L_(3/2)正则化图非负矩阵分解算法

基于图正则化非负矩阵分解算法(GNMF),提出一种基于凸光滑的L3/2范数正则化图非负矩阵分解算法.该算法用非负矩阵分解算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构,并对数据的低维表示特征进行凸光滑的L3/2范数稀疏性约束,在给出算法更新迭代规则的同时,从理论上证明了所给算法的收敛性.通过人脸数据库ORL、手写体数据库USPS和图像库COIL20的仿真实验表明,相对于非负矩阵分解算法及其基于稀疏表示的改进算法,所给算法均具有更高的聚类精度.     

一种受限非负矩阵分解方法

提出一种获取潜在语义的受限非负矩阵分解方法.通过在非负矩阵分解方法的目标函数上增加3个约束条件来定义受限非负矩阵分解方法的目标函数,给出求解受限非负矩阵分解方法目标函数的迭代规则,并证明迭代规则的收敛性.与非负矩阵分解方法相比,受限非负矩阵分解方法能获取尽可能正交的潜在语义.实验表明,受限非负矩阵分解方法在信息检索上的精度优于非负矩阵分解方法.     

解二次规划的Lagrange方法

本文讨论解二次规划问题的 Lagrange 方法。我们分析了解正定二次规划和某些半正定二次规划的对偶算法,指出这些算法可以从 Lagrange 方法直接导出。此外我们还给岀了解不定二次规划的一个新的 Lagrange 算法。这一算法在投影矩阵为不定矩阵时,利用广义的 Cholesky 分解技术由 Lagrange 方程解得二次目标函数的负曲率方向,以此作为该步迭代寻查方向。算法还采用了有效集策略。     

求非凸二次约束二次规划全局解的凸规划方法

针对非凸二次约束二次规划(QCQP)问题,将问题中二次函数的凸函数部分保留,达到所得松弛规划的可行域更加紧致的目的,得到原问题更好的下界.利用正交变换的方法得到原问题的一个凸规划松弛模型,再利用分支定界算法求其全局最优解.根据问题的最优性和可行性原则,提出一种能整体删除或缩小算法迭代过程中产生的分割子区域的区域删减策略...     

组稀疏非负矩阵分解及其识别和聚类应用

在非负矩阵分解算法的基础上,设计了组稀疏约束,并给出了组稀疏非负矩阵分解算法.首先,介绍了非负矩阵分解算法及其稀疏变体;其次,设计了组稀疏非负矩阵分解,推导出迭代规则,并证明了算法的收敛性;最后,将组稀疏非负矩阵算法应用于人脸识别和聚类中,得到了同类算法中较好的效果.     

一类特殊六次规划问题的全局最优充分条件

全局最优性条件是判断一个解是否为全局最优解的基本条件,在此前,已经有文献提出了非凸二次规划问题和非凸三次次规划问题的充分全局最优性条件,但是均未对六次规划问题进行研究.因此,本文利用L-次梯度方法,得到了带有箱子约束的非凸六次规划问题的全局最优充分性条件.此外,通过构造一类特殊的对角矩阵,以方便验证所提出问题的全局充分性条件.     

多面体约束非光滑复合函数的序列有效集方法

对带多面体约束的非光滑复合函数问题的求解进行了研究。针对非光滑复合函数问题,首先,构造光滑函数来逼近非光滑目标函数,通过求解光滑近似问题来达到求解原问题的目的。在此基础上,考虑多面体约束的特殊结构,运用序列二次规划算法的思想,利用有效集策略,通过逐次求解一系列仅含等式约束的二次规划问题来逼近搜索方向的最优解,再通过线搜索求得步长,进而得到下一步的迭代点。最后,从理论上证明了算法的全局收敛性,并进行了初步的数值实验。将该算法与光滑序列投影收缩算法作对比,结果表明,该算法在迭代次数和计算时间上都有一定的优势。     

一种改进的求解含等式约束凸二次规划问题的Lemke算法

通过对经典的Lemke互补转轴算法求解含有等式约束的凸二次规划问题的分析,发现所得到的线性互补问题(LCP)可能是退化的.由Lemke算法求解(LCP)问题的迭代过程,通过六个命题说明了含有等式约束的凸二次规划问题对应的(LCP)问题退化的原因,并对经典的Lemke算法的迭代过程进行修正,提出了一种改进的Lemke算法,这种算法能有效地搜索到含等式约束凸二次规划问题的最优解.     

带有二次约束的一般二次规划问题的松弛分枝定界方法

考虑带有二次约束的一般二次规划问题的求解，当约束条件为非凸二次函数时，对原问题中的某个二次约束进行凸二次松驰，或在原问题的约束条件中增加一个球约束，使得原问题的可行域包含在松驰二次规划问题的可行域内。采用椭球剖分策略剖分可行域为小 椭球，用投影次梯度算法解松驰二次规划问题的拉格朗日对偶问题，从而获得原问题的一个下界。原问题最优值的一个上界可从迭代过程中的可行点得到，并在迭代过程中得到调整。该算法或在原问题最优值的一个上下界相同时终止，得到原问题的整体最优解；或产生一无限序列，其任一聚点都是原问题的整体最优解。     

利用交替方向法求解H权重最近相关系数矩阵问题

由于计算H权重的半正定矩阵锥投影比较困难,目前求解带有H权重的最近相关系数矩阵问题的方法很少且比较复杂.考虑用交替方向法求解该问题,每次迭代只需求解一个有显式解的二次规划问题和一个不带权重的半正定矩阵锥投影,计算简单,易于实现.为提高计算速度,还考虑了改进的交替方向法.此外,通过数值实验对交替方向法与现有方法进行了比较,说明了交替方向法对解决带有H权重的最近相关系数矩阵问题的有效性.     

非线性约束条件下的SQP可行方法

非线性规划求解问题,一直是人们关心的热点问题。Zhu和Zhang利用对具有不等式约束的非线性规划构造出新的超线性收敛的SQP算法,每次迭代只需解一个二次规划子问题,还可自动修正可行方向以避免Marotos效应,并在较弱条件下保持算法的整体收敛性。研究将Zhu和Zhang工作,推广到更一般具有等式约束和具有不等式约束的非线性规划。     

球约束二次规划问题的一个计算方法

研究球约束二次规划问题 .将一般的球约束二次规划问题转化为球约束凸二次规划问题 ,并给出了该问题的KT点和全局最优解的计算方法     

求解二次双层规划问题的全局最优解

针对现有的一些逼近算法在计算过程中有时得到的解为不可行解, 甚至远离真正全局最优解的问题, 给出一种解二次双层规划非孤立全局最优解的算法. 数值实例结果表明, 该算法行之有效.     

支持向量机子问题的算法研究

求解支持向量机大规模分类问题时,系数矩阵的存储和计算是非常困难的.借助分解技术,把问题分解成多个维数较低的二次规划问题.利用增广拉格朗日函数将子问题转化成只含有界约束的形式,再用修正子空间有限记忆BFGS方法解子问题,节省了存储空间,提高了求解效率.     

求解最大割问题的分枝定界算法

最大割问题是图论中的一个典型的NP困难问题。文中基于最大割问题的半定规划松弛模型，给出了最大割问题的一种二次规划松弛模型，并且理论证明了提出的二次规划松弛模型要优于半定规划松弛模型。在谈模型的基础上，利用分枝定界算法求解最大割问题。对小规模和中等规模的最大割问题分别作数值实验。实验表明分枝定界算法能够给出最大割问题一个好的近似解，是求解中小规模最大割问题的有效方法。     

一种二次规划的算法及其在安全经济调度中的应用

提出一种基于松驰技术的二次规划新算法，并在解析过程中引用参数规划的思想，通过迭代搜索获得电优解，算法具有对初始点要求低、收敛 可靠、计算负担小的特点，也可用于解算参数二次规划问题。作为应用例子，解算了电力系统中有功安全经济调度问题，给出了计算结果。