基于概率LS-SVM 的多标签非均衡样本分类算法

针对多标签分类问题,提出了一种面向样本不均衡及类属不确定性的多标签分类算法。首先,结合“一对一”分解策略和贝叶斯理论,将多标签数据集分解为单标签数据子集,并利用Parzen窗方法估计子集样本后验概率,对类标签进行了基于概率的不确定性表示。然后,在融合概率类标签和LS-SVM模型的基础上,利用样本差异信息来调节惩罚参数值,建立了考虑样本不均衡的概率LS-SVM子分类器模型。依据正态分布的3σ原理,设计了子分类器决策阈值确定方法。最后,结合实例对算法进行了性能分析,结果证明了新算法的合理性和有效性。     

基于模糊支持向量的多标签分类方法

单实例多标签分类是指一个样本拥有多个标签的分类问题,对此提出了一种基于半模糊核聚类和模糊支持向量机的多标签分类算法.该算法采用一对一分解策略将多类多标签数据集分解为多个两类双标签数据子集,在每个子集上训练两类双标签模糊支持向量机.为提高分类器的性能引入了半模糊核聚类技术.实验结果表明,与现有的一些算法相比新算法具有其优...     

基于特征比较和最大熵模型的统计机器翻译错误检测

首先介绍3种典型的用于翻译错误检测和分类的单词后验概率特征, 即基于固定位置的词后验概率、基于滑动窗的词后验概率和基于词对齐的词后验概率, 分析其对错误检测性能的影响; 然后, 将其分别与语言学特征如词性、词及由LG句法分析器抽取的句法特征等进行组合, 利用最大熵分类器预测翻译错误, 并在汉英NIST数据集上进行实验验证和比较。实验结果表明, 不同的单词后验概率对分类错误率的影响是显著的, 并且在词后验概率基础上加入语言学特征的组合特征可以显著降低分类错误率, 提高译文错误预测性能。     

嵌入式多标签分类算法的优化研究

多标签分类中如何有效处理具有许多实例和大量标签的大规模数据集、补偿训练集中缺失标签以及利用未标记实例改进预测性能等问题已成为重要研究方向。提出嵌入式多标签分类（EMC）算法,首先从伪实例参数化的高斯过程（GP）中提取两组随机变换来模拟特征向量、潜在空间表示向量和标签向量之间的非线性关系映射,其次引入一组辅助变量结合专家集成（EEOE）方法补偿缺失标签,最后利用未标记实例学习随机函数的平滑映射提高预测性能。仿真结果表明,与特征识别隐式标签空间编码的多标签分类（FaLE）算法和半监督低秩映射多标签分类（SLRM）算法相比,EMC算法优化了处理大规模数据集、补偿缺失标签及利用未标记数据的能力,从而提高了类标签的预测性能,且具有良好的可扩展性,训练时间短。     

基于标签相关性的标签特定特征多标签学习

针对标签特定特征多标签学习算法(multi-label learning with label-specific features, LIFT)未能在聚类以及分类阶段考虑标签相关性问题,提出一种基于标签相关性的标签特定特征多标签学习算法(multi-label learning with label-specific features via label correlations, LFLC).将标签空间加入特征空间进行聚类构建分类模型,采用考虑标签相关性的聚类集成技术为每个标签构造标签特定特征,使用相关性矩阵构建无向完全图并挖掘图中标签集合相关性,通过树集成表达标签间多种不同结构的强相关性.在试验部分,采用涵盖不同领域的10个数据集,以Hamming Loss、Ranking Loss、One-error、Coverage、Average Precision和macroAUC为评估指标,进行了参数敏感性分析和统计假设检验.结果表明：结合聚类集成与标签间强相关性的LFLC算法较其他对比多标签算法整体上能取得较好的效果.     

融合样本相似性的弱监督多标签分类

针对面向实际应用场景中数据标签易残缺导致有监督多标签分类方法可用训练数据量减少，未能利用大量标签缺失数据中蕴含的样本特征空间关联知识以最大化判别间隔，限制多标签分类效果等问题，本文提出一种融合样本相似性的弱监督多标签分类方法.该方法利用标签相关性和样本相似性恢复标签以提高数据利用率，并将标签恢复嵌入到训练过程中以便挖掘标签相关性，通过近端加速梯度法进行参数优化，建立弱监督学习场景的多标签分类模型.在真实数据集上的实验结果表明，该方法能够利用样本相似性有效提升模型在标签残缺时的分类能力，实用价值大.      

Hadoop框架下的多标签传播算法

标签传播算法的主要思想是利用已标注数据的标签信息预测未标注数据的标签信息。然而,传统传播算法没有区别对待未标注数据与已标注数据相互之间的转移信息,导致算法的收敛速度较慢,影响了算法的性能。针对传统算法的不足,提出了差异权重标签传播算法,算法按标注信息的重要性赋予不同的权重。在解决了大规模特征矩阵相乘问题之后,将提出的差异权重标签传播算法应用到Hadoop框架下,采用分布式计算,实现了能够处理大规模数据的多标签分类算法(HSML),并将提出的HSML算法与现有主流多标签分类算法进行了性能比较。实验结果表明,HSML算法在多标签分类的各项性能评测指标和执行速度上都是有效的。     

多角度标签结构和特征融合的多标签特征选择

特征选择是提高多标签分类性能的一种关键技术,一些特征选择算法在选择与标签相关的特征时没有从多个角度考虑标签结构,致使好的特征未能被选取,影响分类性能.为此,提出一种多角度标签结构和特征融合的多标签特征选择MLSFF.该算法的主要特点是:1)从三个角度考虑标签结构,提取三个重要的特征子集.2)融合提取的三个特征子集将整个...     

基于多特征融合的统计机器翻译译文错误检测

抽取了3种典型的单词后验概率特征(基于固定位置的词后验概率、基于目标位置窗的词后验概率、基于词对齐的词后验概率)和3种语言学特征(词、词性、句法分析器抽取的句法特征),并在此基础上抽取了一个来自源端的单词特征,然后基于中英NIST数据集,采用最大熵分类器来验证不同单词后验概率特征(WPP)独立使用及与其它特征组合后使用时对错误检测性能的影响。实验结果表明,采用不同方法计算得到的单词后验概率特征对分类错误率的影响是显著的,并且在单词后验概率和语言学特征组合基础上加入源端单词特征,可以显著降低分类错误率(CER),提高译文错误检测能力。     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于最小熵正则化的半监督分类

生成式模型需要对复杂的联合概率密度建模,并估计较多的参数,为此,文中提出了一种基于最小熵正则化的半监督分类算法.该算法利用Havrda-Charvat's结构α-熵作为目标的正则项,并用拟牛顿法进行求解.该算法既是判别式的,又是直推式的,从而降低了对模型的依赖程度,同时可以方便地预测训练集之外的示例标记.在UCI数据库上的仿真实验结果表明,所提出的算法即使在有标记数据较少的情况下仍能获得较低的分类误差.     

基于熵权法的过滤式特征选择算法

互信息过滤式特征选择算法往往仅局限于互信息这一度量标准.为规避采取单一的互信息标准的局限性,在互信息的基础上引入基于距离度量的算法RReliefF,从而得出更好的过滤式准则.将RReliefF用于分类任务,度量特征与标签的相关性;应用最大互信息系数(maximal information coefficient,MIC)度量特征与特征之间的冗余性、特征与标签的相关性;最后,应用熵权法为MIC和RReliefF进行客观赋权,提出了基于熵权法的过滤式特征选择算法(filtering feature selection algorithm based on entropy weight method, FFSBEWM).在13个数据集上进行对比实验,结果表明,FFSBEWM所选择的特征子集的平均分类准确率和最高分类准确率均优于其他对比算法.     

流缺失标记环境下的多标记特征选择

在监督学习实际任务中,特征的高维性、标记的动态性和缺失性为监督学习带来严峻的挑战。为解决这些不足,提出流缺失标记环境下的多标记特征选择算法。首先,为解决缺失标记的影响,通过学习标记相关性填补不完整的标记矩阵。其次,利用稀疏学习方法为每个新到达的标记选择类属属性。然后,根据已到达标记的类属属性,通过计算得分选取一个有代表性的特征子集。最后,在11个基准数据集上进行一系列实验表明,所提算法能选择有代表性的特征子集,且分类性能较优。     

基于多标签分类的高血压合并症预测模型

合并症预测是典型的多标签分类问题,有效利用标签之间的相关性是提高多标签分类模型精度的关键.针对该问题提出了高血压患者常见合并症的预测模型AR-MLKNN(multi-label k-nearest neighbor based on association rules),首先从不同语义空间的临床概念中构建了患者特征表示,然后通过疾病标签关联信息量化合并症并发关系,并基于样本k邻城内标签的概率分布以后验概率的方式计算样本对每个疾病标签的隶属概率.利用合并症并发关系和疾病标签隶属概率映射形成合并症风险矩阵,基于合并症风险值,根据最小化分类损失的原则动态调整分类阈值以获取最优分类结果.实验结果表明该模型可以对高血压合并症进行较为准确的预测,F1-score达到82％,相较于常规的ML-KNN(multi-label k-nearest neighbor)模型提高了8％,在临床辅助决策领域具有一定的应用价值.     

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如 ML-GCN 通过设置单阈值将标 签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。 针对这一问题, 提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks), 通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分 类性能,也引入图像区域空间相关性。 另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数 缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在 MS-COCO 和 PASCAL VOC 数据集上与其他主 流多标签图像分类方法进行了对比实验,平均准确率分别达到了 94. 9%和 83. 7%,相较于经典 ML-GCN 模型,分 别获得了 0. 9%和 0. 8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN 都有较好的表现,验证 了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。     

一种基于置信函数的分类器自优化雷达点迹识别算法

雷达组网协同探测中,受不同探测精度、观测维度及环境噪声影响,信息系统获取的传感数据包含一定不精确、不确定信息,导致无法对目标点迹准确分类识别。为此提出了一种基于置信函数的分类器自优化雷达点迹识别算法。首先,基于置信函数理论创建目标、杂波、不确定数据的证据识别框架,并设计可实时给定目标数据类别隶属度的深度神经网络模型分类器。然后,依托当前迭代轮次分类结果进行辅助决策证据构建,并根据点迹分布特性进行证据修正融合。最后,基于全局融合结果进行点迹类别标签更新,并重新驱动网络模型分类器进行在线学习与更新,如此迭代循环直至所有的雷达点迹数据类别标签不再发生改变。基于雷达实测数据集对算法性能进行验证分析,结果表明与传统算法相比新算法能够有效提升雷达点迹的分类正确率,而且随着样本数据的丰富算法收敛时间可急速减少,便于在后续工程中推广应用。     

一种基于粒子群算法的多重决策树分类器融合方法

针对数据挖掘中的分类问题,根据多分类器融合的思想,提出一种基于粒子群优化算法的多重决策树分类器融合方法。先将概率度量水平的多重决策树进行线性组合,然后在融合算法中采用粒子群算法优化连接权值矩阵。并在UCI标准数据集上对模型进行了实验研究。结果表明该融合分类方法比单个决策树分类方法具有更高的分类精度。     

文字识别中特征与相似度度量的研究

在大样本测试集下国内现有成熟的OCR识别软件的首位识别准确率为95%~97%之间,在准确率和方法上仍有提升和改进的空间。提出一种基于概率特征和结构特征融合的自适应文字识别算法,模拟人类学习的模式,通过对训练样本的不断学习去构建汉字在测量空间的概率分布矩阵,然后比对原始图像和标准汉字库中汉字的概率分布矩阵的相似度来达到汉字分类的效果。其中相似度度量准则是从矩阵空间的结构和概率2个角度出发去构建的,充分考虑了结构模式识别和统计模式识别的优缺点。实验结果显示算法在训练样本下的首位识别正确率可以达到99.66%,在1 623张非训练样本文字图像下的首位识别正确率可以达到99.13%,在5 515张非训练样本文字图像下的首位识别正确率可以达到98.57%。可以证明提出的相似度度量方法在文字识别中的有效性。     

基于粒度和信息熵的并行支持向量机算法

针对大数据环境下并行支持向量机(support vector machine,SVM)算法存在噪声数据较敏感、训练样本数据冗余等问题,提出基于粒度和信息熵的GIESVM-MR(the SVM algorithm by using granularity and information entropy based on MapReduce)算法.该算法首先提出噪声清除策略(noise cleaning,NC)对每个特征属性的重要程度进行评价,获得样本与类别之间的相关度,以达到识别和删除噪声数据的目的;其次提出基于粒度的数据压缩策略(data compression based on granulation,GDC),通过筛选信息粒的方式保留类边界样本删除非支持向量,得到规模较小的数据集,从而解决了大数据环境下训练样本数据冗余问题;最后结合Bagging的思想和MapReduce计算模型并行化训练SVM,生成最终的分类模型.实验表明,GIESVM-MR算法的分类效果更佳,且在大规模的数据集下算法的执行效率更高.