非负矩阵分解:模型、算法和应用 (运筹学与控制论)

近年来,非负矩阵分解模型已经成为数据挖掘领域中最成功的模型之一。该模型能够自动从一组高维向量中提取隐含模式,从而被广泛应用于降维、无监督学习（图像处理、聚类和双聚类等）和预测当中。本文将从它的发展历史、数学表达形式、算法和热点应用等几个层面对非负矩阵分解模型进行综述。简言之,该模型具有较好的可解释性, 模型简单,易于理解操作,可拓展性强,该模型和无监督学习领域中其它被广泛采用的模型关系紧密,且有广泛的应用空间,数值表现优异。 同时作为一项新兴技术, 该模型亦有许多有趣的问题值得进一步深入研究。
     

学习一致相似度矩阵的图非负矩阵分解

非负矩阵分解(NMF)是一种有效的数据降维方法,广泛应用于图像聚类等领域.然而,NMF不能捕获数据固有的几何结构,所以基于图的非负矩阵分解被提出.基于图的算法大多使用K-近邻来构造相似度图.由于数据中的异常值和错误特征,直接构造图是不准确的.针对上述问题,提出了基于学习一致性相似度矩阵的图非负矩阵分解方法.该方法首先通...     

基于非负矩阵分解的集成人脸识别

非负矩阵分解已广泛应用于人脸识别,但因无监督、子空间线性表示、基特征局部次优等特点,它识别光照复杂、表情丰富的人脸图像的能力有限。为优化非负矩阵分解的人脸识别能力,分析并建立了非负矩阵分解的集成分类框架,整合多组基特征的弱类别结构信息,在无监督情形下利用偏最小二乘回归建立符合统计属性的集成标签映射,突显正确的类结构。通过多组人脸数据集的试验结果表明,基于非负矩阵分解的集成分类能力显著提高,适用光照复杂、表情丰富的人脸图像识别。     

基于非负矩阵分解的类标签映射集成学习

非负矩阵分解已广泛应用于人脸识别,但因无监督、子空间线性表示、基特征局部次优等特点,它识别光照复杂、表情丰富的人脸图像的能力有限。为优化非负矩阵分解的人脸识别能力,分析并建立了非负矩阵分解的集成分类框架,整合多组基特征的弱类别结构信息,在无监督情形下利用偏最小二乘回归建立符合统计属性的集成标签映射,突显正确的类结构。通过多组人脸数据集的试验结果表明,基于非负矩阵分解的集成分类能力显著提高,适用光照复杂、表情丰富的人脸图像识别。     

一种实用快速非负矩阵分解算法

提出了一种基于快速非负矩阵分解算法的实用新算法.该实用快速非负矩阵分解算法扩展了快速非负矩阵分解算法的约束条件,并且保持了较高的收敛速度,更具一般性和实用性.然后对该新算法进行了一些稀疏非负矩阵分解的扩展应用.数值实验显示该实用快速非负矩阵分解算法和快速非负矩阵分解算法具有相近的收敛速度,与其他经典非负矩阵分解算法相比其收敛速度有明显的提高,同时对添加稀疏性约束条件的实验也有很好的效果.     

基于类别信息和稀疏表示的非负矩阵分解

非负矩阵分解通过分解得到基矩阵对于非负的矩阵线性表示,该方法已经在模式识别、信息检索、计算机视觉中得到了广泛的应用.对于模式识别问题,基本的非负矩阵分解方法并没有考虑样本的类别信息;除此之外,稀疏表示用于模式识别问题会有更高的识别率.所以提出基于类别信息和稀疏表示的非负矩阵分解用于研究模式识别问题,并且在ORL和YALE人脸库上进行数值实验,实验结果此方法具有更高的识别率.     

基于非负矩阵分解的OD矩阵预测

提出了一种非负矩阵分解-自回归模型,并用该模型对居民出行流量进行预测.该模型首先利用非负矩阵分解方法挖掘城市区域内的居民出行特征,而后在非负矩阵分解获得的特征矩阵和系数矩阵基础上对时序系数矩阵建立自回归模型,进而对起讫矩阵进行预测.以北京市出租车数据为基础,与时空权重K近邻、传统K近邻、反向神经网络、朴素贝叶斯、随机森林和C4.5决策树回归模型对比,实验结果表明,该模型的预测准确率有显著提升.     

基于潜在因子多样性的非负矩阵分解协同过滤模型

基于非负矩阵分解的协同过滤模型在高维稀疏数据的预测和填补上十分有效，该模型具有推荐个性化、有效利用其他相似用户回馈信息的优点，但也存在预测精度较低等不足。针对用户或项目在不同情景下的评分差异性，提出了一种改进的基于潜在因子多样性的非负矩阵分解的协同过滤模型。该模型充分考虑在不同情境下，用户和项目潜在特征矩阵的多样性，在模型的训练中，采用了单元素非负乘法更新规则和交替方向法，保证了目标矩阵的非负性，且提高了模型的收敛率。在真实的工业数据集上的实验结果表明，相比于经典的非负矩阵分解模型，该模型的预测精度有了明显提高。     

L_(3/2)正则化图非负矩阵分解算法

基于图正则化非负矩阵分解算法(GNMF),提出一种基于凸光滑的L3/2范数正则化图非负矩阵分解算法.该算法用非负矩阵分解算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构,并对数据的低维表示特征进行凸光滑的L3/2范数稀疏性约束,在给出算法更新迭代规则的同时,从理论上证明了所给算法的收敛性.通过人脸数据库ORL、手写体数据库USPS和图像库COIL20的仿真实验表明,相对于非负矩阵分解算法及其基于稀疏表示的改进算法,所给算法均具有更高的聚类精度.     

新轮廓波变换与二维非负矩阵分解的图像融合

为了克服经典轮廓波变换存在Gibbs现象的缺陷,提出一种基于新型轮廓波变换与二维非负矩阵分解模型的图像融合方法。与经典模型相比,新型轮廓波变换很大程度上改善了成像效果,该方法首先对原始待融合图像进行分解;其次,对经典非负矩阵分解模型进行改进,提出二维非负矩阵分解模型,并利用该模型完成对低频分解系数和高频分解系数的融合;最后,采取新轮廓波变换的逆变换获得最终结果图像。仿真实验结果表明,该方法在主观效果和客观评价过程中均有良好的表现。     

结合FDA与NMF的高光谱数据解混方法

高光谱图像解混是遥感图像处理的重要技术之一．利用非负矩阵分解（NMF）进行高光谱图像解混是近年来发展起来的一种方法．这种解混方法假设光谱具有稳定的光谱特性;但实际上光谱经常是多变的,这个现象影响着解混的精度．为了减小这一影响,首先利用Fisher判别分析（FDA）对高光谱数据进行线性变换,而后利用变换后的高光谱数据提出了一种FDA与NMF相结合的高光谱数据解混方法．实验表明新方法能够有效地提高解混精度与效率．     

改进的非负矩阵因子分解算法在基因数据分析中的应用

提出一种改进的非负矩阵因子分解算法．在非负矩阵因子分解的迭代计算过程中加入了数据平滑处理来解决抖动问题,并用于一组白血病微阵列数据分析．实验结果表明,改进过的非负矩阵分解算法提高了分类的准确率,同时这个方法避免了NMF算法的“零值”问题．     

基于非负矩阵分解的面部表情识别研究

提出了一种基于非负矩阵分解与支持向量机相结合的面部表情识别方法。使用直方图均衡化等方法对人脸图像进行预处理,使用非负矩阵分解算法进行表情特征提取,采用支持向量机对面部表情进行分类。以Matlab为仿真工具,在日本女性人脸表情数据库上测试。取得了66.19％的识别率。     

基于LDA模型的WEB文本分类

提出了基于LDA（Latent Dirichlet Allocation）主题模型的Web文本分类方法,利用MCMC方法中的Gibbs抽样获得模型参数从而获取词汇的概率分布,使隐藏于WEB文本内的不同主题与WEB文本字词建立关系。将LDA算法应用于WEB文本分类识别领域,在实验中与k均值聚类和贝叶斯网络方法进行了对比,其结果表明LDA与其他同类算法相比具有一定的优势。     

非监督特征学习方法在脑电身份识别中的应用

设计并实现了采用非监督特征学习方法对模拟阅读事件相关电位实验中多名受试者脑电信号的特征提取,并对提取的特征向量进行了模式分类.实验中共采集5名受试者脑电信号,每名受试者的特征样本集由其接受模拟阅读靶视觉刺激后100⁴00ms在通道PO3、O1、Oz、O2、PO4、P4、P8、CP6的脑电信号样本组成,各受试者样本集均含400个试次样本.非监督特征学习过程由含6个神经节的BP神经网络完成,后选用支持向量机作为分类器.对比了1试次,2试次、5试次、10试次样本叠加等几种不同情况下采用非监督特征学习方法提取特征的分类正确率.实验结果表明:采用多神经节人工神经网络对5名使用者5试次叠加信号样本提取的特征向量的分类正确率高于90%,显著优于对各单通道时域特征向量的分类正确率,该方法可为以脑电信号为特征的身份识别系统提供一种可行的特征提取方式.     

一种基于数据挖掘的隐私保护方法

在数据挖掘隐私保护进行协作数据分析时,部分数据集可能分属不同的数据对象,处理时就需要采取不同的数据失真方法.提出了一组全新的数据失真优化策略,通过将属性划分与奇异值分解法(SVD)、非负矩阵因子分解法(NMF)、离散小波变换法(DWT)相结合,运用4种方案对隐私保护原始数据集的子矩阵进行扰动,并用一些衡量指标来衡量这些策略的效果;利用基于支持向量机(SVM)的二元分类来进行数据实用性的检测.结果表明与数据失真单策略相比,新提出的方案在实现数据隐私和数据实用性的良好平衡方面效果十分显著,为协作数据分析提供了可行性解决方案.     

基于小波核MSVR的IKONOS影像多分类

针对IKONOS影像波段和光谱特点,结合小波函数对非线性信号的良好描述能力和多输出支持向量回归(MSVR)在多维机器学习领域的优势,提出一种基于小波核MSVR的IKONOS影像多分类方法,并以安徽大学新校区的IKONOS影像进行仿真实验.结果表明,提出的多分类算法优于传统的有监督二分类方法和无监督K-Means分类方法,获得较好的分类效果.     

基于增量非负矩阵分解的SAR目标识别

随着SAR数据的快速增长,传统的目标识别方法由于不具备增量学习的能力,导致计算代价逐渐增加,从而越来越无法满足实时信息处理的需求。在识别过程中关键的特征提取环节,非负矩阵分解能够获取目标基于部分的特征表示,已被成功应用于SAR目标识别领域。然而面对新增样本,采用非负矩阵分解描述SAR目标特征的过程中,会产生重复训练,从而大大降低了识别效率。本文提出基于增量非负矩阵分解的SAR目标识别方法,实现了基于非负矩阵分解的SAR目标特征表示的增量学习能力,从而大大降低计算代价。针对MSATR数据集的仿真试验结果表明,在保证识别率的基础上,本文提出的方法能够降低样本训练时间74.7%以上。因此该方法能够适应数据增加的现实需求,并能够为建立具有自主学习能力的SAR目标识别系统提供有效的技术支撑。     

基于支持向量机的上海市宝山区房价的判别与预测

房价问题是关系民生的热点话题,统计分析房价的影响因素时,收集的基本上是小样本、多变量的数据。先用多元统计方法将宝山区12城镇(街道)的房价进行分类和回归分析,然后运用支持向量机(Sup-port Vector Machines,SVM)建立了判别和预测模型,对城镇房价进行分类判别和预测比较,结果说明支持向量机对于小样本的研究有一定的优势。