基于样本不确定性和代表性相结合的可控主动学习算法研究

通过选取最有信息量的样本提交专家进行标注,主动学习算法可以有效地减少无效标注样本的工作量.在充分考虑位于分类边界的不确定样本和基于先验分布的具有代表性样本的基础上,本文构造了不确定性与代表性相结合的可控主动学习算法.首先利用样本的kNN分布状况建立不确定性置信度模型,该思路不需要知道样本分布的具体类型和参数计算;然后在样本聚集度模型的基础上进行聚类,在此基础上建立代表性置信度模型.最后将不确定性置信度模型与代表性置信度模型进行综合,构造可控的主动学习策略,使得每次主动学习选择的样本更具有"价值".在UCI机器学习数据库上的仿真实验结果表明本文的思路是合理可行的,在实验所用数据集上,当达到相同的目标正确率时,本文的方法比随机采样算法所需的样本数量少得多.     

基于主动学习SVM分类器的视频分类

提出一种基于主动学习SVM分类器的视频分类算法.该算法分为两个步骤:首先分析并提取与视频类型有关的十维底层视觉特征;然后用SVM分类器建立这些底层特征与视频类型之间的联系.在获取SVM分类器所需的训练样本时,采用主动学习的方法选择对SVM分类器最"有用"的样本提供给用户进行标注,用更少的训练样本获得与大量训练样本近似的分类效果,从而减轻用户标注负担.针对多类SVM分类的主动学习问题,提出用后验概率计算分类器对未标注样本的置信度进行样本选择.实验结果表明,主动学习算法与随机采样标注的被动学习算法相比,在相同的训练样本情况下能够获得更高的分类精度;而基于后验概率选择样本的主动学习要略好于传统的基于变型空间(version space)选择样本的主动学习.     

基于样本选择策略的SAR图像半监督分类算法

针对当前SAR图像半监督协同训练分类算法受相干斑噪声干扰等问题,本文提出了基于选择策略的SAR图像半监督分类方法.该方法首先以超像素为基本单元,在获取伪样本过程中,利用典型相关性分析作为SAR图像高置信度样本补充判别器,而对于低置信度样本,提出基于超像素和主动学习的样本扩充方法,然后基于扩充后的样本实现SAR图像的半监督分类;最后通过理论分析和实验验证了该方法在标注样本较少的情况下,取得了较好的效果和精度,降低了相干斑噪声对分类效果的影响.     

结合主动学习和自动标注的评价对象抽取方法

提出了结合主动学习和自动标注的评价对象抽取方法。具体实现过程中,首先,利用少量的已标注样本训练分类器,对非标注样本进行测试,获取自动标注结果及其置信度:其次,通过置信度计算每个样本的整体置信度,挑选出低置信度即不确定性高的样本待标注:最后,对待标注样本中置信度低的词语进行人工标注,而置信度高的部分则采用自动标注结果。实验表明,该方法可以在确保抽取性能的同时有效地减小人工标注语料的开销。     

基于代价敏感主动学习的软件缺陷预测方法

软件缺陷预测数据集在搜集过程中存在标注成本较高的问题,引入主动学习有利于选择有价值的数据样例来快速构建数据集,但是主动学习一般选出不确定度最高的样例进行人工标注,并未考虑低不确定度样例。为了进一步降低数据标注的成本,融合信息熵与相对熵提出一种基于代价敏感的混合式主动学习策略。该策略首先使用基于信息熵的主动学习策略,将信息熵最高的样例交由领域专家进行人工标注;对于信息熵最低的样例,借助查询委员会进行二次分析,若满足阈值则进行伪标注。实证研究表明,在同等标注样例的情形下,该策略的AUC值要优于其他3种经典的主动学习策略。使用基于代价敏感的主动学习查询策略可以有效提高软件缺陷预测领域的标注效率并降低标注成本。     

模糊神经网络分类器的主动学习方法

针对模糊神经网络分类器设计过程中所遇到的样本采样与标注过程耗时、代价大的问题,提出了一个新颖的模糊神经网络分类器主动学习方法,以最小-最大边界法以及确定样本的不确定性闽值两个新概念为主动样本选择准则,确保选择其中信息量尽可能大的样本进行标注,使得网络设计过程中对未标注样本的标注工作量和时间大为减少．实验结果表明,该方法与模糊神经网络的被动学习模型相比,训练样本数目大为减少,训练时间大大缩短．     

基于双层采样的主动式数据流挖掘方法

为解决传统数据流分类算法难以解决动态数据流环境中概念变化和样本标注等难题,根据主动学习原理,提出基于双层采样的主动式数据流挖掘方法。该方法的采样策略分别基于学习模型的改变期望和误差缩减两个方面设计实现,选择出具有代表性和信息量丰富的未标注样本,经专家标注后增量更新学习模型;采用聚类方法实现局部感知的概念漂移检测,以增强采样策略的有效性。试验结果表明：主动式数据流挖掘方法在降低样本标注代价的同时,可提高模型的分类能力和概念漂移的适应性,相比其他数据流挖掘方法具有一定优势。     

基于不确定性采样的自训练代价敏感支持向量机研究

针对样本集中的类不平衡性和样本标注代价昂贵问题,提出基于不确定性采样的自训练代价敏感支持向量机.不确定性采样通过支持向量数据描述评价未标注样本的不确定性,对不确定性高的未标注样本进行标注,同时利用自训练方法训练代价敏感支持向量,代价敏感支持向量机利用代价参数和核参数对未标注样本进行预测.实验结果表明:该算法能有效地降低平均期望误分类代价,减少样本集中样本需要标注次数.     

基于支持向量机的主动学习方法及其实现

根据主动学习可以有效地减少标注样本的代价这一特点,设计了一种基于SVM的主动学习方法.仿真实验中,检验分类正确率和F测度这两类评估指标,结果表明基于SVM的主动学习的学习效果优于被动学习.     

针对入侵检测的代价敏感主动学习算法

入侵检测系统通过提供可能由恶意攻击导致的告警信息来保护计算机系统.为了能够利用历史数据自动提升入侵检测的性能,机器学习方法被引入入侵检测.但是,高质量训练数据的获取往往需要繁重的劳动或代价昂贵的监控过程.同时,不同类型的误分类导致的代价也是不一样的,入侵检测需要使误分类代价最小.针对这两种需要综合考虑的问题,提出一种基于代价敏感主动学习的入侵检测分类器构造方法ACS.该方法结合代价敏感学习和主动学习方法,其目标为减少学习代价敏感分类器的标注次数,使代价敏感分类器的误分类代价最小.该方法在主动学习的学习引擎中使用代价敏感学习算法替代传统的错误最小学习算法,同时在采样引擎中使用最大误分类代价的采样标准.ACS方法在主动学习中版本空间的构造、更新过程都针对代价敏感环境作了对应的改进,使该算法能够以较高的收敛速度收敛到误分类代价最小的目标函数.在入侵检测数据集KDDCUP99上的的实验表明,ACS方法能够有效地减少学习代价敏感分类器的标注次数.     

多标签小样本实例级注意力原型网络分类方法

多标签分类中,一个样本可能属于多个类别,且在小样本场景下模型性能更容易受到样本中复杂语义特征的影响。然而,目前常用的原型网络方法仅使用每类支持集样本的均值作为标签原型,导致原型中存在其他类别特征带来的噪声,弱化了原型间的差异性,影响预测效果。本文提出一种利用实例级注意力的多标签小样本原型网络分类方法,通过提高支持集中与当前标签关联度高的样本的权重,减少其他标签特征的干扰,增大标签原型之间的区分度,进而提高预测的精确率.实验表明,方法通过引入实例级注意力强化了多标签原型网络的学习能力,分类效果明显提升.     

基于自适应噪声校正的鲁棒域适应学习

域适应（Domain Adaptation,DA）学习旨在利用标签丰富的源域来帮助标签稀缺的目标域学习。DA方法通常假设源域数据已正确标记,然而现实中通常很难收集到大量带有干净标签的源实例,带有噪声源标签的噪声DA学习可能会降低目标学习性能。为此,本文提出基于自适应标签噪声校正的鲁棒DA学习方法（Robust DA Method through Adaptive Noise Correction,RoDAC）。RoDAC包含两个学习阶段,即自适应噪声标签检测（Adaptive Noise Label Detection,ANLD）和自适应噪声标签校正（Adaptive Noise Label Correction,ANLC）。在ANLD中,使用自适应噪声检测器识别带有噪声标签的源实例,并进一步在ANLC中自适应地校正噪声标签,将其重新投入域适应学习中。与基准数据集进行比较,结果表明RoDAC方法在源域标签存在噪声的域适应场景中取得了显著的性能提升。该学习策略可集成至许多现有的DA方法中,以提升其在噪声标签场景下的学习性能。     

Fea2Lab:基于多标记学习的特征到标签生成模型

传统多标记学习方法通常只考虑和示例相关联的单个特征向量以及无差别地预测全体标签,从而忽视了与示例相似的其他示例及隐含的标签属性,造成输入空间特征信息较少、标签属性被忽略和对大标记空间预测效果差等问题.为解决以上问题,文章转化传统多标记学习任务为多标记学习的序列到序列任务,并由此提出新的多标记学习标签生成神经网络模型(Fea2Lab模型):通过交错的顺序排列示例和相似示例形成链式特征向量序列,来增加输入空间特征信息;通过挖掘标签属性来有差别地预测标签;通过在解码流程中使用全局标签信息,来缓解预测过程中出现的错误标签级联问题.在多个数据集上的实验结果和消融实验表明转化任务和Fea2Lab模型的合理性、可行性及有效性.     

分类任务中标签噪声的研究综述

近年来,随着机器学习的发展,分类系统的性能有了很大的飞跃。模型需要大量带标签数据才能使训练结果达到要求,而获取高质量的标注数据费时费力。为了降低成本,出现了众包、自动化系统等方法标注训练数据。但是,这些标注方法往往会产生大量错误标注,即标签噪声。另外,信息不足、专家错误和编码错误等因素,也可能使标签受到污染。训练过程中对标签噪声的处理不当,可能会使预测精度和准确性降低,或者使模型复杂度增加。因此,研究标签噪声对推广机器学习在各领域的应用和降低机器学习算法的部署成本等方面具有重要意义。通过综述产生标签噪声的原因、影响以及近几年来应对标签噪声的一些技术方法,对标签噪声的研究现状和发展前景进行分析。     

Learnability of multi-instance multi-label learning

Multi-instance multi-label learning(MIML) is a new machine learning framework where one data object is described by multiple instances and associated with multiple class labels.During the past few years,many MIML algorithms have been developed and many applications have been described.However,there lacks theoretical exploration to the learnability of MIML.In this paper,through proving a generalization bound for multi-instance single-label learner and viewing MIML as a number of multi-instance single-label learning subtasks with the correlation among the labels,we show that the MIML hypothesis class constructed from a multi-instance single-label hypothesis class is PAC-learnable.     

基于不确定性度量的半监督语义分割方法

基于深度学习算法的预测通常被盲目地认为是准确的,而这种劣势在半监督学习中更为明显.为了解决这个问题,本文引入了一种简单但有效的正则化方法,即不确定性交叉伪监督.该方法通过不同的参数初始化对双学生网络施加了一致性约束,并将一个学生输出的独热分割图用作伪标签来监督另一个学生.同时独热分割图之间的詹森 香农距离用来估计伪标签的不确定性.此外,本文还提出了一种不确定损失用于降低拥有高不确定性的伪标签所带来的损失项权重.实验结果表明,本文方法实现了最先进的半监督语义分割性能.     

基于KMM匹配的参数迁移学习算法

当训练数据和测试数据来自不同的领域或任务以至于训练数据和测试数据的分布不相同时,需要进行知识的迁移.本文提出一种基于实例KMM匹配的参数迁移学习方法.利用KMM算法估计每个源领域实例的权重,再利用得到的权重,把这些实例应用到基于参数的迁移学习方法中.把该迁移学习算法应用到无线网络定位问题中时,该方法的定位准确度要高于单...     

A Classifier Using Online Bagging Ensemble Method for Big Data Stream Learning

By combining multiple weak learners with concept drift in the classification of big data stream learning, the ensemble learning can achieve better generalization performance than the single learning approach. In this paper,we present an efficient classifier using the online bagging ensemble method for big data stream learning. In this classifier, we introduce an efficient online resampling mechanism on the training instances, and use a robust coding method based on error-correcting output codes. This is done in order to reduce the effects of correlations between the classifiers and increase the diversity of the ensemble. A dynamic updating model based on classification performance is adopted to reduce the unnecessary updating operations and improve the efficiency of learning.We implement a parallel version of EoBag, which runs faster than the serial version, and results indicate that the classification performance is almost the same as the serial one. Finally, we compare the performance of classification and the usage of resources with other state-of-the-art algorithms using the artificial and the actual data sets, respectively. Results show that the proposed algorithm can obtain better accuracy and more feasible usage of resources for the classification of big data stream.     

结合加权KNN和自适应牛顿法的稳健Boosting方法

Boosting是机器学习领域中重要的集成学习方法，以AdaBoost为代表的Boosting算法通过在组合弱学习器时不断加强对错分类样本的关注以构建性能优异的强学习器，而该训练机制对噪声点的无差别对待易引发学习器对噪声过拟合，从而削弱算法的稳健性.针对该问题，提出结合加权KNN和自适应牛顿法的稳健Boosting方法.该方法首先通过加权KNN估计样本的噪声先验概率，然后使用噪声先验概率修正Logit损失构建一种新的损失函数，最后采用自适应牛顿法进行损失函数的优化求解.提出方法引导分类器在给予错分类样本更高权重的同时，对噪声先验概率大的样本给予相应的惩罚，使噪声样本的权重得到有效的缩减.结果表明，与其他稳健Boosting方法对比，在不同噪声水平下以及真实的医疗数据集的不同评价指标下，该方法表现出更好的稳健性，具有明显的应用价值.      

基于Jerk流形正则化深度极限学习机的电能质量复合扰动识别

为了有效利用电能质量复合扰动识别中存在的大量难以标注的实测样本,提出了一种基于Jerk流形正则化深度极限学习机(DJRELM)的半监督扰动学习方法.算法通过堆叠嵌入Jerk流形正则化的极限学习机自编码器(JRELM-AE)实现在复合扰动特征自动提取的同时保持数据内部流形结构.分类层通过阈值预测极限学习机和Jerk正则化...