融合标签局部相关性的标签分布学习

提出了一种融合标签局部相关性的标签分布学习(label distribution learning, LDL)算法,该算法分为3个阶段。初始预测阶段构建多层神经网络模型,将样本的原始特征作为输入、初始预测的标签分布作为输出;局部矫正阶段首先利用k-means聚类算法获得不同类所描述的局部信息,然后针对不同类计算对应的协方差矩阵,利用该矩阵来矫正初始预测的标签分布,获得每个类对应的矫正标签分布;标签融合阶段对矫正后的标签分布进行加权,再与初始预测的标签分布进行融合,得到最终的预测分布。在8个公开数据集上与9种常用的LDL算法进行对比实验,结果表明本文的算法能较好地描述标签局部相关性,在多个主流评估指标上排名靠前。     

基于图形正则化低秩表示张量与亲和矩阵的多视图聚类

针对聚类中忽略局部结构、 低秩表示张量与亲和矩阵高度依赖性等问题, 提出一种基于图形正则化低秩表示张量与亲和矩阵的多视图聚类方法. 首先, 提出一个统一的框架学习多视图子空间的图正则低秩表示张量和亲和矩阵; 其次, 进一步通过基于张量核范数的张量奇异值分解分析高阶交叉视图关联性, 并利用图形正则化保留嵌入在高维空间中的局部结构; 最后, 利用约束二次规划为每个视图分配自适应权重. 在7个数据集上的实验结果证明了该方法聚类效果更好.     

基于标签相关性的标签特定特征多标签学习

针对标签特定特征多标签学习算法(multi-label learning with label-specific features, LIFT)未能在聚类以及分类阶段考虑标签相关性问题,提出一种基于标签相关性的标签特定特征多标签学习算法(multi-label learning with label-specific features via label correlations, LFLC).将标签空间加入特征空间进行聚类构建分类模型,采用考虑标签相关性的聚类集成技术为每个标签构造标签特定特征,使用相关性矩阵构建无向完全图并挖掘图中标签集合相关性,通过树集成表达标签间多种不同结构的强相关性.在试验部分,采用涵盖不同领域的10个数据集,以Hamming Loss、Ranking Loss、One-error、Coverage、Average Precision和macroAUC为评估指标,进行了参数敏感性分析和统计假设检验.结果表明：结合聚类集成与标签间强相关性的LFLC算法较其他对比多标签算法整体上能取得较好的效果.     

马尔可夫过程的低秩谱估计

针对马尔可夫过程的谱估计算法利用了非负投影而导致估计矩阵不能满足低秩要求的问题，提出一个低秩谱估计算法(Low-rank Spectral Estimation Algorithm, LRSEA):首先，建立秩约束状态转移矩阵集合的局部Lipschitz型误差界，并给出满足该集合误差界不等式的近似投影矩阵; 然后，基于近似投影矩阵对现有的谱估计算法进行低秩修正，得到LRSEA算法，并为该算法建立统计误差界。通过人工合成数据实验对LRSEA算法、经验估计方法和谱估计方法进行比较，结果表明LRSEA算法的估计误差最小。最后，将LRSEA算法与k-均值聚类算法结合应用到纽约市曼哈顿岛出租车轨迹的分析问题。     

一种半监督多流形识别算法

半监督学习方法在多流形学习领域的应用越来越广泛,文章提出了一种基于MPPCA模型的半监督多流形识别算法M2SMPPCA。该算法首先通过MPPCA模型将原始数据集划分成m个"局部数据块",再根据标签信息对这些数据块进行进一步的分解,使每一个数据块中的标签信息一致;然后利用切空间偏差构造能反映出数据点之间局部几何特性的相似图,并通过谱聚类实现多流形的识别;最后利用共协矩阵集成多次分解结果,提高了子流形分解结果的鲁棒性,得到最终的子流形。实验结果表明,该算法在人造数据和实际的高维图像数据上都能有效地分解开相交多流形数据,相较于其他算法极大地提高了分解精度。     

基于多维相关性的弱类属属性学习

传统的多标签学习一般基于完整的标签信息，但随着数据量的增大，很难为每个实例获得完整的标签信息，导致弱标签问题在多标签数据集中广泛存在，严重影响了多标签的分类性能.为了提升相关性能，不少学者在实际分类中考虑特征、标签和实例部分的关联性，却忽略了它们之间的相关性.基于此，提出一种基于多维相关性的弱类属属性学习算法：首先，根据特征和标签之间的相关性，采用余弦相似度计算出标签之间的相关性；其次，根据特征与实例之间的相关性，采用密度峰值聚类获得实例相关性，并从中选择具有监督信息的标签矩阵，与分解希尔伯特矩阵获得的特征相关性结合构建流形正则化；最后，在多个不同缺省率的多标签数据集上进行了大量实验，验证了提出的算法的有效性.     

一种稀疏图正则化的非负低秩矩阵分解算法

非负矩阵分解方法(non-negative matrix factorization,NMF)广泛应用于图像聚类、计算机视觉、信息检索等领域。但是,现有的NMF方法还存在一些不足之处：①NMF方法直接在高维原始图像数据集上计算它的低维表示,而实际上原始图像数据集的有效信息常常隐藏在它的低秩结构中;②NMF方法还存在对噪声敏感以及鲁棒性差的缺点。为了提高NMF算法的鲁棒性和可解释性,提出一种稀疏图正则化的非负低秩矩阵分解算法(sparse graph regularized non-negative low-rank matrix factorization,SGNLMF)。通过低秩约束和图正则化,SGNLMF算法同时利用了数据的几何信息和有效低秩结构;此外,SGNLMF算法还对基矩阵加以稀疏约束,使得其鲁棒性和可解释性均有一定的提升。还提出了一种求解SGNLMF的迭代算法,并从理论上分析了该求解算法的收敛性。通过在ORL和YaleB数据库上的实验结果表明SGNLMF算法的有效性。     

一种利用局部标记相关性的多标记特征选择算法

随着近年来研究的深入,多标记学习已快速渗透到了各个领域中.在多标记学习中,每个实例对应着多个标记,且这些标记彼此之间相互关联,因而标记相关性的挖掘与利用对多标记学习有着重要的影响与意义.然而,目前已有的关于多标记学习的算法大多利用了全局标记相关性,即认为对于任一实例,其在学习过程中所利用的标记相关性均相同.而在现实中,不同的实例往往在其学习过程中所利用的标记相关性也不尽相同.将局部标记相关性利用到多标记特征选择算法中,通过对标记空间进行属性聚类将实例划分为组,从而实现局部标记相关性的利用,提出了结合局部标记相关性的多标记特征选择算法(multi-label feature selection by exploiting label correlod locally,Loc-MLFS).与此同时,该算法可以推广为一个统一架构.多个数据集上的实验结果表明局部相关性的利用有效地提高了多标记特征选择算法的有效性.     

基于稀疏表示和低秩逼近的自适应异常事件检测算法

针对传统异常事件检测算法没有考虑视频数据低秩特性的问题,提出了基于低秩稀疏编码模型的字典学习算法。对提取的多尺度三维时空梯度特征进行K-均值聚类。利用低秩稀疏编码模型进行每一个特征聚类的字典学习。通过迭代聚类和字典学习获取所有的正常行为模式。采用公共数据集UCSD Ped1和Avenue检测该算法的性能。与社会力(SF)、混合概率主成分分析(MPPCA)、社会力-混合概率主成分分析(SF-MPPCA)、混合动态纹理(MDT),Adam、子空间(Suspace)、稀疏组合学习框架(SCLF)7种方法对比,该文算法具有较高的正确率和较强的实时性。     

一种改进的RAKEL多标签分类算法

RAKEL(random k-labelsets)算法是一种集成技术,能有效解决多标签分类问题.它将原始标签集随机选用一小部分标签子集构成的数据集来训练每个分类器,但由于RAKEL算法构造标签空间的随机性,并未充分考察到样本多个标签之间的相关性,从而造成分类精度不高,泛化性能受到一定影响.为此,提出了改进的LC-RAKEL算法.首先,通过标签聚类将原始标签集划分成标签簇,再从每个标签簇中各选择一个标签构成标签集,以此发现标签空间中重要且不频繁的映射关系;然后,利用出现次数较少的标签集合组成新的训练数据,训练相应的分类器.实验证明,改进的算法性能优于其他常用多标签分类算法.     

一种基于集成学习的分布式聚类算法

基于集成学习的思想,提出一种分布式聚类模型.该模型的分布式处理过程分为2个阶段:先在局部站点局部聚类,然后在全局站点全局聚类.局部站点的局部聚类看作是一种基于数据子集的学习过程,所有的局部聚类结果组成了聚类集成系统的个体学习器,全局聚类采用平均法对局部结果进行集成,并定义了一个准则函数来度量集成的精度.把K-means算法推广到分布式环境,提出一种基于该模型的分布式K均值算法DK-means,该算法对局部数据的分布有较强的伸缩性.实验结果表明,DK-means在同等条件下能达到集中式聚类的精度水平,是有效可行的,从而验证了基于集成学习的分布式聚类模型的有效性.     

基于结构化局部约束低秩表示的人脸识别

针对传统的基于低秩表示的方法需要重新在字典矩阵上计算测试样本的表示系数,会导致计算复杂度升高,降低训练和测试样本表示系数之间的相关性等问题,提出了一种结构化局部约束低秩表示算法用于人脸识别的方法.在原始低秩表示中引入理想编码系数矩阵正则项,使训练样本的表示系数矩阵具有块对角结构;为保持数据的流形结构,引入局部约束项,使相似样本具有相似的表示系数;使用简单的线性分类器对测试样本进行分类.在AR,Extended Yale B,ORL和LFW这4个标准数据集上进行了试验结果验证.结果表明:该算法可以同时得到训练和测试样本的表示系数,对人脸图像中的遮挡、像素破坏和光照变化等具有鲁棒性.     

低秩张量分解的多视角谱聚类算法

针对传统多视角学习算法只关注从多视角中提取共享信息而忽略了各视角的特有信息和高阶关联的问题,提出了一种基于截断核范数的低秩张量分解的多视角谱聚类算法。计算各视角的样本相似度矩阵和转移概率矩阵,构建一个包含各视角马尔可夫转移概率矩阵的张量,从而保留各个视角的信息。采用基于张量奇异值分解的截断核范数约束目标张量的秩。通过最小化张量截断核范数,学习到一个既包含各个视角共享信息又具有高阶关联的张量。利用迭代最优化算法求解目标函数,将求得的目标张量输入谱聚类算法得到聚类结果。在4个不同类型数据集上进行实验并与传统聚类算法进行了对比,结果表明:所提算法在4个数据集上的标准互信息度量值比标准谱聚类算法的分别提高了7.9%、24.9%、29.5%、8.1%,比LT-MSC算法的分别提高了3.4%、18.1%、17.6%、6.6%。通过对非负平衡参数在0.000 1～100之间的测试发现,所提算法表现基本稳定,在非负平衡参数取0.1～1之间表现良好。与传统多视角聚类算法相比,所提算法可有效增强各视角之间的互补性和高阶关联,并且具有良好的准确性和鲁棒性。     

基于相关性分析的多标签特征选择方法

针对现有大多数多标签特征选择算法未能有效去除特征空间冗余特征,同时也忽略了标签差异性的现状,提出一种基于相关性分析的多标签特征选择方法,利用特征之间的相关度对特征进行分组,解决了特征之间的相关性问题.根据样本所对应的标签属性对样本做一个正负类的聚类,对于正样本和负样本所构成的正类簇和负类簇单独确定其聚类个数,并计算原特征到正负类簇中各个类中心的距离,如此便产生了标签特定特征空间;将标签共享的特征空间和标签特定特征空间融合,考虑到多个标签之间的个性和关联性,解决了标签的差异性问题.实验测试表明,相较于现有的多标签特征选择算法,提出的基于相关性分析的多标签特征选择方法在各个分类指标上均有较优的表现,充分证明了该方法的有效性.     

基于聚类提升树的多标签学习

为了探索多标签数据集中每个标签所具有的特定特征,针对标签特定特征进行有效的利用,提出基于聚类提升树的多标签学习方法(multi-label leaning based on boosting clustering trees,MLL-BCT).建立MLL-BCT整体框架,通过引入聚类特征树来挖掘数据样本之间的相关性,以...     

属性自表达的低秩无监督属性选择算法

针对现有无监督属性约简方法只单一使用子空间学习或属性选择的方法,并且忽略数据之间的内在相关性,本文提出一种新的属性选择方法。首先提出一个属性自表达损失函数加上一个稀疏正则化(l2,1-范数)实现无监督学习与属性选择。然后嵌入子空间学习方法,并使用低秩约束和图正则化项考虑数据的全局结构和局部结构。经聚类实验验证,该算法较对比算法能取得更好的效果。     

低秩与字典表达分解的浓雾霾场景图像去雾算法

针对现有图像去雾算法对浓雾霾场景图像去雾效果不理想的问题,提出了一种低秩与字典表达分解的浓雾霾场景图像去雾算法。首先,根据大气散射物理模型与浓雾霾场景图像中"雾"的全局低秩特性,将退化图像看作低秩"雾"图与相对低秩无雾清晰图像的叠加;其次,将"雾"图表示为字典矩阵与表达矩阵的乘积,从而通过低秩与字典表达分解模型分解出"雾"图;再次,利用双三次插值将分解得到的局部"雾"图推广到全局;最后通过减去"雾"图恢复出无雾的清晰图像。实验结果表明:与现有主流图像去雾算法相比,该算法对浓雾霾场景图像的去雾效果更优,对194幅真实浓雾霾场景图像去雾后,图像平均可见边缘比到达了21.315,平均可见边缘质量因子达到了4.540,图像细节信息得到了较好的恢复。     

基于自适应图调节和低秩矩阵分解的鲁棒聚类

聚类是数据挖掘和机器学习领域的重要研究内容,一般会先基于数据样本构建相似图,再基于相似图将样本划分到相应的类中。但是真实的数据经常被损坏,导致学习的相似图不准确,从而直接影响聚类结果。为解决这些问题,提出一种面向鲁棒聚类的自适应图调节和低秩矩阵分解的方法,该方法的核心思想是:将原始数据X分解为纯净数据D和噪声数据S,再基于纯净数据构造拉普拉斯矩阵并进行自适应图调节。随后,给出一个联合学习框架,将数据分离、自适应图正则、噪声消除和低秩矩阵分解集成到一个目标函数中。利用增广拉格朗日乘子法分别更新变量。最后,在理论上证明算法的收敛性并进行实验。实验结果表明所提出的方法与现有一些方法相比有一定优越性。     

嵌入式多标签分类算法的优化研究

多标签分类中如何有效处理具有许多实例和大量标签的大规模数据集、补偿训练集中缺失标签以及利用未标记实例改进预测性能等问题已成为重要研究方向。提出嵌入式多标签分类（EMC）算法,首先从伪实例参数化的高斯过程（GP）中提取两组随机变换来模拟特征向量、潜在空间表示向量和标签向量之间的非线性关系映射,其次引入一组辅助变量结合专家集成（EEOE）方法补偿缺失标签,最后利用未标记实例学习随机函数的平滑映射提高预测性能。仿真结果表明,与特征识别隐式标签空间编码的多标签分类（FaLE）算法和半监督低秩映射多标签分类（SLRM）算法相比,EMC算法优化了处理大规模数据集、补偿缺失标签及利用未标记数据的能力,从而提高了类标签的预测性能,且具有良好的可扩展性,训练时间短。     

随机学习萤火虫算法优化的模糊软子空间聚类算法

传统软子空间聚类算法在利用局部搜索策略解决等式约束的连续非线性的变量加权问题时,易陷入局部最优导致聚类效果不佳.针对该问题,该文提出了一种随机学习萤火虫算法优化的模糊软子空间聚类算法.该算法利用具有全局搜索能力的萤火虫算法对新算法的目标函数进行优化,同时,为弥补萤火虫算法易提前收敛和寻优精度较低的缺陷,对萤火虫种群进化...