基于峰度量化标记形态模糊度的标记分布学习

为了提升标记分布学习在歧义性分类问题上的预测性能,对标记形态上的模糊度进行研究.提出了标记形态模糊度的概念,给出了基于峰度的一种度量方式,探讨了不同模糊程度样本对于分类学习的影响.根据低模糊度数据更有利于学习的研究发现,基于加权低模糊度样本和对齐模糊度损失这两种策略设计了一种新的标记分布学习算法.14个数据集上的十折交...     

样本稀疏表达的标记分布学习算法

针对传统标记分布学习算法借助标记的全局相关性信息,忽略仅存于部分样本范围内标记局部相关性的问题,提出了一种基于样本稀疏表达的标记分布学习算法。借助样本点的自表达性质,建立稀疏表达优化模型,挖掘样本局部相关性信息。通过设计的标记分布目标函数约束,将得到的稀疏系数引入标记空间中,并将其作为隐含的标记空间局部相关性预测值,帮助标记分布模型的训练。使用交替方向乘子法求解样本稀疏系数,使用有限内存拟牛顿法求解标记分布目标函数,通过最大熵模型生成实例的标记分布预测值。在11个真实数据集上进行实验,并与7个现有标记分布学习算法进行对比。结果表明:所提算法在不同评价指标下的55次对比实验中取得了1.52的平均排名;面部表情数据集SBU-3DFE上,以相对熵衡量的表情判别准确度较标记分布学习问题转换算法PT-SVM、适应性算法AA-kNN及专用算法LDLLC的分别提高了3.10%、2.53%、2.48%;与传统标记分布学习算法相比,所提算法能够有效挖掘并利用标记局部相关性,具有良好的标记分布预测精度,且在不同类型的真实数据集上均能表现稳定。     

基于标记分布学习的人脸年龄识别算法

针对人脸年龄识别可用数据集普遍不足的问题,为提升可用数据集不变情况下人脸年龄识别的精度,在深度学习(DL)框架中引入标记分布学习(LDL)策略,命名为DL-LDL,其中卷积神经网络用于自动提取人脸特征,改进的标记分布学习用于学习真实年龄及相邻年龄之间的模糊性和多义性,以丰富年龄信息,提高识别精度.将DL-LDL方法在MORPH和FG-NET这2个公开数据集上进行了试验测试.结果表明：DL-LDL方法提高了年龄识别的精度,与现有最先进的人脸年龄识别方法相比,在MORPH和FG-NET上的平均绝对误差分别降低了8.2%和13.8%.     

集成学习中特征选择技术

集成学习和特征选择是当前机器学习领域中的研究热点.集成学习通过重复采样可产生个体学习器之间差异度,从而提高个体学习器的泛化能力,特征选择应用到集成学习可进一步提高集成学习技术的效果,该研究有3个方面：数据子集的特征选择、个体学习器的选择和多任务学习.该文对近几年集成学习中特征选择技术的研究进行回顾,尤其对以上3个方面的研究分别进行总结,提出一些共性的技术指导以后的研究.     

变步长BLSTM集成学习股票预测

提出采用变步长双向长短期记忆网络(BLSTM)集成学习方法学习历史数据中股票价格变动的规律.针对股票涨跌变化的预测改进均方误差(MSE)损失函数,采用简易的模拟交易盈利评价指标以更好地度量预测模型在金融市场中的期望表现.通过前10～50步长的数据训练BLSTM,预测下1min各股票的涨跌变化.实验结果验证了不同数据预处理下,改进损失函数的有效性及变步长集成方法相对于单一网络的有效性.     

基于解释的人工神经网络集成学习方法

基于知识的人工神经网络是集成学习方法领域中最主要的研究方向，它利用领域知识决定神经网络的初始拓扑结构和联接权值的设置。一方面利用领域知识加速了网络的学习，另一方面利用神经网络的鲁棒性减少了领域理论不完善和数据噪声的影响，从而较好的解决了不完善领域理论的学习问题。本文对这方面的几个主要系统ＫＢＡＮＮ、ＲＡＰＴＵＲＥ进行了分析和评价，指出了它们在网络拓扑结构的动态改变、深层网络的加速学习和结果网络到规则的转译等方面的弱点，并因此提出了一种有效的集成学习方法——基于解释的人工神经网络。     

基于随机标记子集的多标记数据流分类算法

提出了基于随机标记子集的多标记数据流分类算法,其基本思想是在多标记分类过程中,将原始较大的标记集随机地划分为多个较小的标记子集,并针对每个标记子集训练一个概率分类器链.在充分利用标记间依赖关系的同时,又有效地降低了概率分类器链的时间复杂度.同时,在算法中嵌入了自适应滑动窗口算法来检测概念漂移.实验结果表明,同其他算法相比,在大多数数据集合上能够更有效地预测实例的类标集合,更适合概念漂移的环境.     

异构集成学习中的观察学习机制研究

集成学习是提高分类精度的一种有效途径,已在许多领域显示出其优于单个分类器的良好性能。观察学习是一种基于社会学习理论的集成学习方法,以往对其研究集中于同构模式。在此提出了基于异构模式的观察学习策略,通过训练、观察、再训练三个阶段完成学习。在UCI标准数据集上对异构环境下的观察学习算法进行了实验研究。结果表明,该方法优于多数投票法和单个分类算法,其对弱分类器组成的分类器集合尤其有效。从偏差/方差分解的角度对观察学习提高分类性能的原因进行了论证,结果表明,观察学习算法既可以降低偏差,也可以降低方差。     

基于ANN集成的贴片安装机器视觉检测

在贴片安装产品机器视觉检测中,由于图像数据量大、变化复杂、样本分布和错误代价不平衡及检测实时性的要求,引脚的焊接缺陷检测难度最大. 从图像中选择和提取多个特征,分别用于各个结构简单的ANN检测分类器,再将多个ANN输出进行线性组合来得到最后的检测结果. 各ANN学习时,样本初始权重考虑样本的不平衡性,学习中再用提升算法来调整样本权重和集成系数;用遗传算法来学习确定ANN,用代权重的检测正确率和最小正确分隔边缘作为适应值函数,两类边缘与代价成正比. ANN集成后在精度提高的同时保持了良好的泛化性能. 实验结果表明:本方案准确率高、泛化性好、速度快.     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

基于弱监督对比学习的弱多标记特征选择

多标记特征选择已被广泛应用于医疗诊断、模式识别等领域,然而现实中的数据往往存在维数灾难以及标记大量缺失等问题,现有的弱多标记特征选择算法又普遍易受缺失标记和噪声的干扰,使算法模型难以准确地选择重要特征．针对上述问题,提出一种用于弱多标记数据集特征选择的弱监督对比学习方法,旨在缺失和含噪声标记数据集中选择优质特征,同时挖掘少量人工标注数据中潜在的类间对比模式．该方法包括三个步骤：首先,设计一种弱监督预训练策略,通过利用实例相似性以及稀疏学习方法获取每个类标记类属属性,用于恢复缺失标记;其次,引入对比学习策略来捕获少量有标记数据的对比模式来削弱噪声数据的影响;最后,选取10组多标记数据集以及四个评价指标进行实验.实验结果证明,与多个先进多标记特征选择算法相比,提出的方法分类性能更优．     

通过集成学习进行知识获取

In many data rich application domains, machine learning is a powerful tool for automated or semiautomated knowledge acquisition. This extended abstract will briefly introduce some of our works related to knowledge acquisition via ensemble learning.     

基于分类的集成学习算法研究

集成学习可以提高分类器的泛化性能,这种方法已经成为机器学习的重要研究方向之一.通常,集成学习主要由2部分构成,即个体生成方法及结论生成方法.从集成学习的差异性角度出发,对集成学习中个体的构造方法及结论生成方法进行了分析与研究,对集成学习中存在的问题及未来的研究方向进行了探讨.     

基于集成学习的网页分类算法

网页分类需要使用标记网页对分类算法进行训练,然而,对网页进行标记的过程既费时又费力.随着web的快速发展,获得未标记网页已经变得相对容易.为了有效地利用未标记网页来提高网页分类的性能,提出了一种基于集成学习的网页分类算法,迭代运行支持向量机、中心分类器和朴素贝叶斯分类器,并对各分类器的预测进行集成,不断地从未标记集中对网页进行标记后用于训练.实验结果表明.提出的算法有效地提高了网页分类的性能.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于粗糙集的决策树集成学习算法

【目的】为提高决策树集成的泛化能力和效率,解决集成全部决策树的情况下有时并不显著提高精度、反而导致额外存储和计算开销的问题,提出一种基于粗糙集的决策树集成学习算法。【方法】该算法基于粗糙集理论,从训练的全部决策树中选择一部分进行集成。【结果】与目前流行的集成学习算法Bagging和Boosting相比,本文提出的算法有效地减小了集成规模,并获得更好的泛化能力。【结论】该算法提高了决策树集成的泛化能力和效率。     

基于DEC算法的多标记学习

由于多标记学习中的"维度灾难"问题,鉴于判别嵌入式聚类(DEC)算法对数据降维的特点,本文提出了基于DEC算法的多标记学习。该算法在多标记数据集作分类处理之前,采取DEC算法对多标记数据集进行维度约简,从而降低算法复杂度、提高分类性能。实验结果表明,这种基于DEC算法的多标记学习是有效的。     

聚丙烯复合材料老化数据集成学习

聚丙烯复合材料老化实验周期长,且单次实验采集的数据样本少,使用传统机器学习方法进行预测的准确度较低.为了解决聚丙烯复合材料老化数据样本少与预测准确性低的问题,提出了一种虚拟样本生成(virtual sample generation,VSG)的集成学习预测方法.首先,对聚丙烯复合材料老化数据使用高斯混合模型(Gaussian mixed model,GMM)虚拟样本生成方法平滑生成验证有效的虚拟样本;然后,使用生成后的数据集建立集成学习预测模型,该模型包含随机森林(random forest,RF)、极端梯度提升(extreme gradient boosting,XGBoost)算法、轻量级梯度提升机(light gradient boosting machine,LightGBM)算法以及分类梯度提升(categorical boosting,CatBoost)算法.实验表明:集成学习模型的LightGBM算法与CatBoost算法性能最优,在测试数据上均方误差为0.001 3与0.0001,比RF算法与XGBoost算法分别高出0.4与0.2.聚丙烯复合材料老化虚拟样本生成与集成...     

基于集成学习XGBoost模型的降水客观预报方法

为进一步提升降水预报的准确率,该文提出一种基于集成学习XGBoost模型的降水客观预报方法。该方法选取ECMWF高分辨率数值预报模式资料、福建省内国家级自动站降水的实况数据,通过决策专家系统选取有效预报因子,使用集成学习XGBoost模型进行训练,从而对福建省内的降水进行客观预报。结果表明,该方法能够将数值模式和机器学习进行有效结合,提升降水预报的准确率,并在实际业务应用中取得了良好效果。