L_(3/2)正则化图非负矩阵分解算法

基于图正则化非负矩阵分解算法(GNMF),提出一种基于凸光滑的L3/2范数正则化图非负矩阵分解算法.该算法用非负矩阵分解算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构,并对数据的低维表示特征进行凸光滑的L3/2范数稀疏性约束,在给出算法更新迭代规则的同时,从理论上证明了所给算法的收敛性.通过人脸数据库ORL、手写体数据库USPS和图像库COIL20的仿真实验表明,相对于非负矩阵分解算法及其基于稀疏表示的改进算法,所给算法均具有更高的聚类精度.     

学习一致相似度矩阵的图非负矩阵分解

非负矩阵分解(NMF)是一种有效的数据降维方法,广泛应用于图像聚类等领域.然而,NMF不能捕获数据固有的几何结构,所以基于图的非负矩阵分解被提出.基于图的算法大多使用K-近邻来构造相似度图.由于数据中的异常值和错误特征,直接构造图是不准确的.针对上述问题,提出了基于学习一致性相似度矩阵的图非负矩阵分解方法.该方法首先通...     

一种线性局部切空间判别分析算法

为了在保持数据局部几何结构不变的同时使数据分类边界最大化,提出了一种用于分类的线性局部切空间判别分析算法.该算法是改进的流形学习算法的监督版,样本的局部切空间排列矩阵确保样本低维嵌入的局部几何结构不变;基于最大边界准则的数据散度矩阵确保数据分类的类内散度最小和类间散度最大;对上述2个矩阵和进行特征分解,获得平衡的投影向量基,使样本投影后的子空间被优化.对Yale,UMIST与MIT这3个人脸数据库的实验结果表明,与现有多种经典分类方法相比,提出的算法在降维的同时提取了用于人脸识别的更有效特征,识别性能较好,具有较高的判别分析能力.     

基于流形正则化判别的因子分解

通过对非负矩阵分解(non-negative matrix factorization,NMF)和因子分解(concept factorization,CF)的分析,针对它们无法核化或忽略数据几何结构和判别信息的问题,提出了基于流形正则化判别的因子分解算法(manifold regularized-based discriminant concept factorization,MRCF).该算法用CF算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构;利用样本的标签信息,进行监督学习,给出算法多步更新规则,理论上证明了MRCF算法的收敛性.在人脸数据库ORL、图像库COIL20和手写体数据库USPS上的仿真结果表明,相对于NMF、CF及其一些改进算法,MRCF均具有更高的聚类精度.     

MIT中灵敏度矩阵的聚类优化

针对灵敏度矩阵的几何差异性问题,提出了一种基于聚类优化的灵敏度矩阵方法.首先,分析了灵敏度矩阵的几何差异性对MIT图像质量的影响;然后,基于几何差异性对灵敏度矩阵的向量进行聚类分组,应用能量函数对分组后的灵敏度向量赋予不同权值,构造一种聚类优化的灵敏度矩阵;最后,应用优化后的灵敏度矩阵,通过线性反投影算法和牛顿-拉夫逊迭代算法进行MIT图像重建.实验结果表明:采用聚类优化的灵敏度矩阵,使线性反投影算法的均方误差降低26%以上,图像相关系数提高10%以上, 使牛顿-拉夫逊迭代算法的均方误差降低5%以上,相关系数提高4%以上,证明了所提方法的有效性.     

基于矩阵型惯性投影神经网络的非负矩阵分解算法

提出一种基于矩阵型神经动力学优化的非负矩阵分解算法.将矩阵非负分解优化问题首先转换为两个矩阵变量凸优化子问题，针对其子问题分别提出矩阵型惯性投影神经网络；然后，采用交替迭代方案寻找矩阵非负分解优化问题的解.理论分析证明了矩阵型惯性投影神经网络能收敛于矩阵变量凸优化子问题的最优解，并且基于矩阵型神经网络的交替迭代算法可以收敛到矩阵非负分解优化问题的偏最优解.最后，所提出的基于矩阵型神经网络的交替迭代算法被有效地应用于人脸识别.     

基于判别信息的近邻保持嵌入降维方法

针对传统近邻保持嵌入算法(NPE)侧重保持样本的局部结构,而没有考虑样本类别信息的不足,提出判别局部近邻保持嵌入算法DLNPE.该算法利用样本点的局部结构构造新定义下的类内类间散布矩阵,并以此作为判别信息引入目标函数.在6个真实数据上进行实验,证明了所提算法的有效性.     

用分解矩阵形式表达的Broyden族校正公式

在Broyden凸族建立了Hesse近似矩阵关于目标函数梯度向量等内积分解矩阵的校正公式,从而把由校正矩阵的等内积分解矩阵确定搜索方向的DFP和BFGS算法推广到Broyden凸族.     

基于离散小波变换的动态过程模型参数辨识的Markov方法

提出一种新的Ｍａｒｋｏｖ递推算法，该算法主要是基于过程噪声的离散小波变换的协方差矩阵及其Ｃｈｏｌｅｓｋｙ分解因子具有特殊稀疏带状结构的事实，利用模型输出误差的小波变换在线估计出其协方差矩阵及其Ｃｈｏｌｅｓｋｙ分解因子Ｌｃｗ，进而利用Ｌｅｗ对数据进行白色化处理。数值仿真验证了所提算法是可行的。     

基于K-L算法的投影图正则非负矩阵分解

通过对投影非负矩阵分解(PNMF)增加数据点及其邻近点的约束,提出一种基于图正则化的投影非负矩阵分解(PGNMF)方法。PGNMF保留了数据在低维特征空间中局部几何结构的同时又对系数矩阵进行稀疏约束,既减少了存储空间,也提高了算法效率。理论分析和数据实验都验证了该算法的有效性。     

低秩张量分解的多视角谱聚类算法

针对传统多视角学习算法只关注从多视角中提取共享信息而忽略了各视角的特有信息和高阶关联的问题,提出了一种基于截断核范数的低秩张量分解的多视角谱聚类算法。计算各视角的样本相似度矩阵和转移概率矩阵,构建一个包含各视角马尔可夫转移概率矩阵的张量,从而保留各个视角的信息。采用基于张量奇异值分解的截断核范数约束目标张量的秩。通过最小化张量截断核范数,学习到一个既包含各个视角共享信息又具有高阶关联的张量。利用迭代最优化算法求解目标函数,将求得的目标张量输入谱聚类算法得到聚类结果。在4个不同类型数据集上进行实验并与传统聚类算法进行了对比,结果表明:所提算法在4个数据集上的标准互信息度量值比标准谱聚类算法的分别提高了7.9%、24.9%、29.5%、8.1%,比LT-MSC算法的分别提高了3.4%、18.1%、17.6%、6.6%。通过对非负平衡参数在0.000 1～100之间的测试发现,所提算法表现基本稳定,在非负平衡参数取0.1～1之间表现良好。与传统多视角聚类算法相比,所提算法可有效增强各视角之间的互补性和高阶关联,并且具有良好的准确性和鲁棒性。     

基于L_1范数最小化的逆协方差矩阵估计

由于在高维空间中,基于固定维数的经典方法和结果不再适用,样本协方差矩阵不可逆,估计逆协方差矩阵时存在不稳定、计算成本高和非精确等问题,提出了一种L1范数最小化方法来有效估计高维逆协方差矩阵即精确矩阵.当总体分布满足指数类型条件或者多项式类型条件时,所提估计方法在各种范数下的收敛速率优于其他现存的方法.经分析验证,所提方法为凸优化问题,可采用交替方向乘子算法来解决.之后通过R语言在模拟数据和实际数据下进行仿真分析,并与Glasso方法对比逆协方差的估计性能和图恢复性能,结果表明所提估计方法准确率高、计算成本低.最后,将所提估计方法用来分析白血病数据集,并运用聚类分析对白血病人进行分类.     

求解矩阵极大特征值问题的保守BFGS算法

基于求解无约束优化问题,本文提出求解大型对称正定矩阵极大特征值问题的保守BFGS算法.所提算法有效地避免了求解大型Hessian矩阵逆的问题.同时,在一些合理的条件下,建立了所提算法的全局收敛性.最后,将所提算法和EIGS(Matlab内部计算矩阵极大特征值的命令)进行了对比测试.数据结果表明,本文所提算法快速、高效、稳定.     

基于多层次聚类的纹理图像分割算法

提出了一种基于多层次聚类的算法,此算法相对传统算法降低了空间和时间复杂度,并减少了对参数的敏感度,适合处理大规模数据集.该算法包括粗分、代表点聚类和细分三个阶段.首先,利用亲和传播聚类(AP)算法对所有数据进行粗分,为了节省空间和时间,仅考虑每个点和离自己最近的t个近邻之间的相似度,所以构造的相似度矩阵远远小于原始AP算法所构造的相似度矩阵;其次,为了进一步提高效率和性能,在第二阶段采用密度峰值算法(FDP)对上一阶段所得结果进行再划分;最后,结合两个阶段划分的结果得到所有数据的划分.实验表明:所提算法可以快速准确地进行图像分割,和经典聚类算法FCM(模糊C均值)、Kmeans以及SOM(自组织映射)的对比实验也证明了所提算法的有效性.     

非凸张量多视图子空间聚类

为了探索非凸方法在多视图聚类方面的应用, 本文基于非凸替换函数和子空间学习, 提出非凸张量多视图子空间聚类算法. 该算法不仅对多视图数据进行自表示学习来达到学习低维子空间的目的. 而且采用带有旋转的张量结构对张量的高阶关联进行挖掘. 同时, 使用非凸函数替换以及广义奇异值算子进行张量最小化问题的求解, 从而实现对张量秩的近似. 最后基于联合优化所得关联/仿射矩阵实现聚类操作. 在不同类型的多视图数据集上的大量实验验证了该方法的聚类效果.     

改进的β-NMF在基因聚类中的应用

针对基因表达数据高维、高噪声等特点,提出了一种基于正交约束的负矩阵分解算法;该算法将正交约束引入到β散度矩阵分解的准则函数中进行优化求解,用梯度下降方法得出矩阵分解的乘积迭代规则,并利用分解项来降低特征空间的维度,将得到的向量用于K均值聚类;实验中选择5种肿瘤基因表达数据,实验结果表明:改进的算法分解所得矩阵在聚类效果上明显优于其他的方法.     

一种新的聚类组合算法

提出一种新的基于非负矩阵分解(NMF)方法的聚类组合算法(NMFCCA).该算法首先采用K-均值算法作为基聚类器,然后使用NMF方法从基聚类器输出结果中提取数据对象的关键特征,最后在关键特征空间中划分数据对象,生成最终结果.在人工数据集和真实数据集上的实验表明,所提出的算法是有效可行的.     

一种基于余弦函数和矩阵变换的谱聚类算法

为了实现快速谱聚类分析,设计了一种基于余弦函数和矩阵变换的谱聚类算法(CMTSC).CMTSC将余弦函数和矩阵变换技术融入到了谱聚类算法之中.利用余弦函数构造了相似度矩阵W,跳过了传统谱聚类算法中设置尺度因子的过程,随后利用矩阵变换技术实现了矩阵W的特征值分解,降低了分解的计算复杂度.在UCI数据库中部分数据集上的聚类实验和Berkeley图像库中部分图像上的分割实验,验证了CMTSC的有效性和高效性.     

一种多流形正则化的多视图非负矩阵分解算法

在大数据时代,多视图数据普遍存在.多视图聚类是分析多视图数据的一种常用方法.基于多流形正则化非负矩阵分解的多视图聚类是一种极具竞争力的多视图聚类算法,但该算法没有考虑非负矩阵分解的簇排列问题,并且在实验中没有考虑每个视图的差异性.基于上述问题,提出一种优化的多流形正则化的多视图非负矩阵分解算法.该算法的关键问题包括如何利用多视图信息聚类以及如何融合多流形.对多视图数据聚类时,令所有视图的数据共享一个低维的子矩阵,并且最小化所有视图的加权目标函数,从而体现每个视图对聚类的重要性并确保所有非负矩阵分解的簇排列的一致性.在融合多流形信息时,使用基于多视图谱聚类的权重计算方法,加权寻找一致的流形,从而体现每个视图中流形的重要性.实验结果表明,提出的优化策略可以提高多视图聚类的效果.     

基于谱聚类和矩阵分解的改进协同过滤推荐算法

针对传统的协同过滤推荐算法存在数据稀疏性、冷启动,影响推荐结果的准确性等问题,提出了一种改进的协同过滤推荐算法。使用基于随机梯度下降优化求解的矩阵分解方法,将原始矩阵分解为较低维的用户特征矩阵和特征产品矩阵;引进产品外部属性信息,运用谱聚类算法对产品聚类,构建属性—特征之间的映射关系,填充特征产品矩阵。所提出的算法不需要对原始评分矩阵进行数据填充,相较于传统的固定值填充方法,不需要系统提供大量的空间存储评分矩阵,并且在评分预测过程中采用降维技术,可以有效地缓解数据稀疏性对推荐结果准确性的影响。