结合流形结构与柔性嵌入的多标签特征选择

将线性回归模型与流形结构相结合,构成了弱线性多标签特征选择的联合框架。首先,用最小二乘损失函数来学习回归系数矩阵;其次,通过标签流形结构来学习数据特征的权重矩阵;再次,用L2,1-范数来约束回归系数矩阵和特征权重矩阵,这样既能引导稀疏性,又有利于特征选择。此外,设计并证明了具有收敛性的迭代更新算法来解决上述提出的问题。最后,所提出的方法在多个经典多标签数据集上进行了验证,实验结果表明了所提算法的有效性。     

基于多标签分类的学术文献潜在时间意图识别研究

为了提高检索结果的时间相关性,将文本特征抽取和多标签分类算法应用于文献检索的潜在时间意图分类研究之中.从检索潜在时间意图分类的角度出发,提出一种基于文本时间信息抽取和Labeled LDA(标签主题模型)的文献潜在时间意图自动分类算法.首先,在获取的文献时间信息基础上,将文献检索潜在时间意图映射至具体时间类别.其次,为了减少时间信息的稀疏性对分类特征学习过程的影响,利用交叉学科中时间短语分布特征优化Labeled LDA分类模型的标签选择过程.最后,将所提算法与其他多标签分类算法进行对比实验,分析和评估文献检索潜在时间意图自动分类的准确率.结果表明,所提算法的AUC的值达到79.6%,较同类基准算法ECC(整体分类链)提高约10.9%,且针对不同学科均取得了较好的分类效果,是一种有效的文献检索潜在时间意图学习方法.     

适用于大数据的最小二乘半监督支持向量机

为了有效地利用大数据中的无类别标签样本,将最小二乘支持向量机的思想和方法运用到半监督学习中,利用有类别标签和无类别标签样本构造支持向量机模型,通过Lagrange数乘法将其转化为一个线性规划问题,得到了一种适用于大数据的最小二乘半监督支持向量机.该算法有效地提高了支持向量机的测试准确率,具有较好的推广能力.     

基于图拉普拉斯的多标签类属特征选择

多标签特征选择能够有效去除冗余特征并提升分类精度, 是解决"维数灾难"问题的有效方法. 然而, 已有的多标签特征选择算法是对所有标签选择出相同的特征, 忽略了标签与特征之间的内在联系. 事实上, 每个标签都具有反映该标签特有属性的特征, 即类属特征. 提出一种基于图拉普拉斯的多标签类属特征选择(multi-label label-specific feature selection based on graph Laplacian, LSGL)算法. 对于每个类别标签, 基于拉普拉斯映射获得数据的低维嵌入, 再通过稀疏正则化获得数据空间到嵌入空间的投影矩阵, 接着通过分析矩阵系数确定每个标签相应的类属特征, 最后使用类属特征进行分类. 在 5 个公共多标签数据集上的多标签特征选择与分类实验结果证明了所提算法的有效性.     

多角度标签结构和特征融合的多标签特征选择

特征选择是提高多标签分类性能的一种关键技术,一些特征选择算法在选择与标签相关的特征时没有从多个角度考虑标签结构,致使好的特征未能被选取,影响分类性能.为此,提出一种多角度标签结构和特征融合的多标签特征选择MLSFF.该算法的主要特点是:1)从三个角度考虑标签结构,提取三个重要的特征子集.2)融合提取的三个特征子集将整个...     

基于伪标签回归和流形正则化的无监督特征选择算法

无监督特征选择是无标签高维数据预处理过程中一种有效的数据降维技术，然而大多数无监督特征选择算法忽略了数据样本本身的类簇结构特性，选择具有低判别性信息的特征.基于此，提出一种基于伪标签回归和流形正则化的无监督特征选择算法.具体地，联合伪标签回归和最大化类间散度来保证算法在迭代过程中学习伪标签，同时，自适应学习数据样本之间的局部几何结构，获得更加精准的标签信息和结构信息，进而选择具有高判别性且能保持数据流形结构的特征.在四个公开数据集上的对比实验表明，提出算法的特征选择结果优于现有的一些无监督特征选择算法.     

基于低秩类间稀疏判别最小二乘回归的图像分类

在多分类任务中基于最小二乘回归(least squares regression,LSR)的分类器是有效的,但大多数现有方法因使用有限的投影而损失许多判别信息,有的算法只关注样本与目标矩阵的精确拟合而忽略了过拟合问题。为了解决这些问题并提高分类性能,本文提出了一种基于低秩类间稀疏性的判别最小二乘回归(low-rank inter-class sparsity discriminative least squares regression,LRICSDLSR)的多类图像的分类方法。在判别最小二乘回归模型中引入类间稀疏性约束,使得来自同一类的样本间隔大大减小,而来自不同类的样本的间隔增大;对由非负松弛矩阵获得的松弛标签施加低秩约束,以提高其类内紧凑性和相似性;在学习标签上引入了一个额外的正则化项,以避免过拟合问题。实验结果表明,这3个改进有助于学习明显的回归投影,从而实现更好的分类性能。     

基于多标签核判别分析的人脸身份与性别识别方法

为解决多标签线性判别分析(MLDA)方法在非线性维数约简方面的局限性,提出了一种多标签核判别分析(MKDA)方法,并将其用于人脸的身份与性别识别中.该方法的基本思想是通过非线性映射将训练样本从输入空间映射到高维核特征空间中,并在该特征空间中进行基于MLDA的数据降维.在身份和性别识别中,首先采用MKDA方法对人脸图像特征向量进行降维,获取判别特征矢量集;其次,为每幅人脸图像赋予一个表征身份和性别的多标签类别矢量;最后,采用减秩回归模型(RRR)描述判别特征矢量与多标签类别矢量之间的回归关系,并利用该模型进行未知人脸的身份和性别识别.AR人脸数据库上的实验结果表明:在人脸身份和性别识别中,MKDA方法的识别率高于传统核判别分析(KDA)方法.     

基于PLSA学习概率分布语义信息的多标签分类算法

多标签算法大多利用特征与标签嵌入等方法挖掘标签空间的语义信息,但这类方法没有利用特征与标签间可能存在的某种联系.类属属性的提出较好地诠释了特征与标签的联系,即标签可能对应一组自身的特征,然而这类方法未能给出特征与标签间可能存在的逻辑关系,也未证实标签与实例间可能存在同样的逻辑关系.因此,提出基于PLSA(Probabilistic Latent Semantic Analysis)学习概率分布语义信息的新型多标签分类算法.首先认为样本矩阵存在一种隐含变量作为标签,利用PLSA模型获取特征-标签与标签-实例条件概率分布矩阵,以条件概率分布的形式解释它们之间可能存在的联系;其次,建立模型学习概率分布矩阵中存在的语义信息,并应用于多标签算法的标签预测与分类;最后在13个公开的多标签文本类型的数据集上进行实验与统计假设检验,并与其他多标签分类算法对比.实验结果表明,提出的学习概率分布语义信息用于提高多标签算法的性能存在一定的合理性.     

基于标签相关性的标签特定特征多标签学习

针对标签特定特征多标签学习算法(multi-label learning with label-specific features, LIFT)未能在聚类以及分类阶段考虑标签相关性问题,提出一种基于标签相关性的标签特定特征多标签学习算法(multi-label learning with label-specific features via label correlations, LFLC).将标签空间加入特征空间进行聚类构建分类模型,采用考虑标签相关性的聚类集成技术为每个标签构造标签特定特征,使用相关性矩阵构建无向完全图并挖掘图中标签集合相关性,通过树集成表达标签间多种不同结构的强相关性.在试验部分,采用涵盖不同领域的10个数据集,以Hamming Loss、Ranking Loss、One-error、Coverage、Average Precision和macroAUC为评估指标,进行了参数敏感性分析和统计假设检验.结果表明：结合聚类集成与标签间强相关性的LFLC算法较其他对比多标签算法整体上能取得较好的效果.     

基于TLS-ESPRIT算法的声表面波标签辨识

为降低收发机成本,在声表面波射频识别系统中采用频域取样,并利用频率步进连续波作为发射信号.为了进一步提高识别距离及系统的抗干扰能力,增强标签在小信噪比下的识别能力,在信号处理部分使用总体最小二乘-旋转不变技术估计信号参数(TLS-ESPRIT)算法来提取标签的时延信息并解码.试验结果表明,相对于其他算法,TLS-ESPRIT算法能够在小信噪比条件下以较窄的工作带宽有效地识别标签.     

基于模糊互信息的多标签特征选择

多标签特征选择已成为处理多标签数据的重要方法之一.利用一种基于模糊互信息的多标签特征选择算法,通过模糊离散化,给出模糊联合熵和模糊条件熵吸模糊互信息的计算方式.将原先的互信息特征选择算法推广到模糊情形中,提出一种基于模糊互信息的多标签特征选择算法.最后在同一准则下,将模糊互信息与原先的互信息特征选择算法及其他几种经典的特征选择算法进行比较.实验表明,此方法在一定程度上效果优于其他特征选择算法,是一种有效的多标签分类问题的特征选择方法.     

基于非负矩阵分解的类标签映射集成学习

非负矩阵分解已广泛应用于人脸识别,但因无监督、子空间线性表示、基特征局部次优等特点,它识别光照复杂、表情丰富的人脸图像的能力有限。为优化非负矩阵分解的人脸识别能力,分析并建立了非负矩阵分解的集成分类框架,整合多组基特征的弱类别结构信息,在无监督情形下利用偏最小二乘回归建立符合统计属性的集成标签映射,突显正确的类结构。通过多组人脸数据集的试验结果表明,基于非负矩阵分解的集成分类能力显著提高,适用光照复杂、表情丰富的人脸图像识别。     

融合标签局部相关性的标签分布学习

提出了一种融合标签局部相关性的标签分布学习(label distribution learning, LDL)算法,该算法分为3个阶段。初始预测阶段构建多层神经网络模型,将样本的原始特征作为输入、初始预测的标签分布作为输出;局部矫正阶段首先利用k-means聚类算法获得不同类所描述的局部信息,然后针对不同类计算对应的协方差矩阵,利用该矩阵来矫正初始预测的标签分布,获得每个类对应的矫正标签分布;标签融合阶段对矫正后的标签分布进行加权,再与初始预测的标签分布进行融合,得到最终的预测分布。在8个公开数据集上与9种常用的LDL算法进行对比实验,结果表明本文的算法能较好地描述标签局部相关性,在多个主流评估指标上排名靠前。     

遗传算法选择特征波长在紫外光谱检测COD中的研究

为简化紫外光谱测化学需氧量检测模型,提高模型的预测精度,将偏最小二乘算法与遗传算法相结合,优化对紫外光谱特征波长的选择.通过建模和实验分析表明:使用该方法对特征波长进行选取,偏最小二乘回归模型在均方误差意义下达到最优,平均相对误差在5%以内,而且预测精度明显优于未经遗传算法选取波长的偏最小二乘回归模型.     

基于偏最小二乘分析和稀疏表示的目标跟踪算法

经典的基于子空间学习的跟踪方法通过主成分分析(principal component analysis, PCA)建立并更新目标的特征模型,只考虑目标的特征信息而忽视模型中每个样本的类别特征,从而降低了目标的跟踪精度。为此,提出一种基于偏最小二乘分析(partial least squares analysis, PLS)和稀疏表示的目标跟踪算法。通过PLS去分析关于目标与背景中纹理特征和类别信息之间的相关性,建立一个可区分的低维特征空间。将目标模板线性表示为所有目标候选的线性组合,当存在与目标模板相似的候选时,线性表示的系数满足稀疏性约束,通过L1范数最优化求解稀疏表示系数,根据最小的重构误差得到最优的目标位置。在多个视频场景下的实验结果展示了改进的跟踪算法具有较好的跟踪性能。     

使用自适应线性回归的多标签分类算法

针对多标签数据类别间的相关性与共现性,提出了一种使用自适应线性回归的多标签分类算法,将经典线性回归理论推广到多标签形式,结合多种评判标准对回归结果设置阈值,进而自适应地预测出最终标签.该方法同时考虑了符合数据期望的固定阈值与反映分类器综合效果的自适应阈值,因而降低了数据分布与噪声对分类的影响.实验结果表明,该方法可以有效地解决多标签分类问题.     

基于组标签的多标签流特征选择算法

流标签是当前多标签学习领域中一个较新颖的挑战性问题，存在标签空间未定、标签数量不断增加甚至趋于无穷等问题.在多标签学习的特征选择中，每当有新的标签到达时标签空间都将发生改变，传统的多标签特征选择算法需重新进行特征选择，所以不适用.针对此问题，采用将流标签进行分组批量处理的方式，并考虑标签之间的相关性，提出一种新的流式多标签特征选择方法，考虑分组后每组标签内部潜在的关联结构和不同标签组之间的标签差异性，赋予每组标签不同的权重来计算每个特征与标签空间的模糊互信息.同时，结合mRMR (Max-Relevance and Min-Redundancy)的特征选择策略进行冗余特征的剔除，从而挑选最优的特征子集.该方法同时适用于固定标签空间和流式标签空间中的特征选择问题.最后，选取八个多标签基准数据集，采用四种评价指标与已有相关的多标签特征选择方法进行对比实验，实验结果证明了提出方法的有效性和高效性.     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于自适应加权最小二乘支持向量机的青霉素发酵过程软测量建模

针对生化过程软测量建模过程中样本数据可能包含的测量误差对模型性能的影响,提出一种自适应加权最小二乘支持向量机(Adaptive weighted least squares support vector machine,AWLS-SVM)回归的软测量建模方法。该方法基于最小二乘支持向量机模型,根据样本拟合误差,并结合改进的正态分布赋权规则,自适应地为每个建模样本分配不同的权值,以降低随机误差对模型性能的影响;同时采用混沌差分进化—模拟退火(Chaos differential evolution simulated annealing,CDE-SA)算法对模型参数进行优化选择,以提高模型的泛化能力。仿真实验表明,AWLS-SVM模型的预测精度及鲁棒性能优于最小二乘支持向量机(Least squares support vector machine,LS-SVM)和加权最小二乘支持向量机(Weighted least squares support vector machine,WLS-SVM)。利用Pensim仿真平台的数据,将AWLS-SVM方法用于青霉素发酵过程软测量建模,获得了较好的效果。