基于动态BP算法的非线性滞后系统辨识

鉴于很多实际问题都可以转化到多示例框架下求解,多示例学习越来越受到机器学习领域内学者们的关注.提出了一个基于Logistic回归模型的多示例学习算法.首先定义了一个新的似然函数来表示每个包的标签与其示例的隐含标签之间的关系,然后利用凝聚函数把该似然函数转化为一个光滑的凹函数,从而使问题可以用常用的无约束优化方法快速求解.在一些标准数据集和一个文本分类问题上的实验结果表明,所提算法要优于其他常用多示例学习算法.     

基于Biased-SVM的非平衡半监督分类算法

针对非平衡数据的半监督分类问题,提出了一种基于Biased-SVM的非平衡半监督分类算法.该方法首先利用初始的标记样本集训练处理不平衡数据的Biased-SVM模型,然后用训练好的Biased-SVM模型为未标记样本加上标签,再把新标记样本加入到初始标记样本集中,重新训练Biased-SVM模型,最后在测试集上进行测试.选取公共数据库里的一些数据集进行实验,首先在两类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体G-mean值的基础上,提高小类的F-value值并具有较高的稳定性;然后在多类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体的EG-mean值的基础上,提高小类识别率并具有较高的稳定性.     

面向大规模类不平衡数据的变分高斯过程分类算法

变分高斯过程分类器是最近提出的一种较有效的面向大规模数据的快速核分类算法,其在处理类不平衡问题时,对少数类样本的预测精度通常会较低.针对此问题,通过在似然函数中引入指数权重系数和构造包含相同数目正负类样本的诱导子集解决原始算法的分类面向少数类偏移的问题,建立了一种可以有效处理大规模类不平衡问题的改进变分高斯过程分类算法.在10个大规模UCI数据集上的实验结果表明,改进算法在类不平衡问题上的精度较原始算法得到大幅提高.     

基于马尔科夫随机场和鲁棒误差函数的半监督分类研究

为了克服由错误标记样本所引发的问题,提出半监督分类器模型。从标记数据和未标记数据中学习得到决策准则,并在马尔科夫随机场中,运用一个新的基于鲁棒误差函数的能量函数,分别设计基于迭代条件模型和马尔科夫链蒙特卡罗的两种算法来推断标记样本和未标记样本的类别。实验结果表明这两种方法对于现实世界的数据集来说是高效的,并具有很好的鲁棒性。     

一种改进的相关向量回归方法

相关向量回归(relevance vector machine,RVR)是一种非线性回归方法。当样本集中存在少量异常点时,RVR方法能够得到鲁棒的回归模型。随着异常点增加,求得的回归模型的泛化能力下降。针对这种情况,实现了一种改进的相关向量回归方法。首先重新定义样本子集T和根据最小截平方和估计理论重新定义RVR回归的似然函数;然后利用贝叶斯推论求解边际最大似然函数;最后使用迭代法迭代求解最大似然函数的最优超参数α、β以及子集T,并使用超参数α、β得到回归模型。通过证明和实验结果表明,算法具有鲁棒性,而且当样本集中的异常点增加时,依然具有较高的鲁棒性。     

一种基于聚类分布的支持向量数据描述

在基于解决单类问题的支持向量数据描述算法基础上提出了基于聚类分布信息的c-SVDD算法.该算法对带野值的SVDD算法中的C值重新定义.通过增加核空间下测试样本的聚类分布信息。为每个样本定义一个特定的c值.c-SVDD算法适应于解决类别不平衡学习问题.该算法在保证少类样本高分类精度前提下,还有效提高了全样本的分类精度,更符合现实不平衡问题中对少类样本的处理要求.对UCI数据集和人工样本集进行实验.改进后的c-SVDD算法比带野值的SVDD算法AUC值平均提高0.14以上;比AdaBoost算法在正类查全率上平均提高40%,精确度也提高了至少5%.     

基于邻域粗糙集的多标记属性约简算法

在多标记学习中,属性约简是解决多标记数据维数灾难的一个关键技术.针对邻域粗糙集属性约简在计算正域代价较大和多标记数据中标记具有不同的强弱性问题,提出了基于邻域粗糙集的多标记属性约简算法.该算法首先利用样本在整个属性空间下到其异类样本的平均距离与到其同类样本的平均距离的差值对标记进行加权;其次,利用取整函数对样本空间进行划分,提出了一种新的多标记邻域粗糙集快速计算正域的方法;最后,根据前向贪心搜索算法进行属性约简,以获得一组新的属性排序.实验给出了5个多标记数据集在4个评价准则上的对比结果,实验结果分析表明了所提算法的有效性.     

基于MPI的近邻距离加权偏标记学习算法之并行实现

针对基于样例的偏标记学习方法 IPAL需对每个样本求取近邻及近邻的权值、耗时太多而不适用于求取大规模数据的问题,提出了一种基于近邻距离加权的偏标记学习算法,对IPAL中近邻权值的求取方式进行改进.为提升新算法的运行效率,在训练集与测试集的读取、相似度图的构建、迭代标记传播和测试样本的预测等方面进行了并行计算;设计了新算法的并行模型,且在MPI的集群环境下实现此模型.将改进后串行算法WIPAL的运行效率和分类准确率与IPAL进行对比,且将不同进程数下并行算法PWIPAL的运行时间和加速比进行对比.试验结果表明:新算法在保证分类准确率的前提下缩短了运行时间;随着数据规模的增大,PWIPAL与WIPAL分类准确率相同,运行时间的加速比逐渐接近所设定的进程数,可以用来处理大规模数据.     

基于样本差异性的多标记特征选择算法

在多标记学习中,特征空间的高维性是多标记学习研究的主要问题。文章通过聚类构建由代表性样本组成新多标记数据,定义了多标记决策系统中样本的分类间隔及样本的差异性概念,在此基础上定义了特征权重,提出一种基于样本差异性的多标记特征选择算法,并用4个指标对4个多标记数据集进行实验评价,对比一些当前流行的特征选择算法,验证了本文所提算法的有效性。     

一种嵌入样本流形结构与标记相关性的多标记降维算法

现有的多标记降维算法常通过学习标记相关性构建样本间的相似关系,进而提高学习系统的性能.然而,在实际应用中,样本的标记信息可能存在噪声,且部分标记信息可能缺失,因此由样本的标记信息学得的标记相关性可能不准确,无法有效挖掘样本间的相似关系.为了解决该问题,从样本的特征空间与标记空间两个方面构建样本间的相似关系.在利用标记空间学习标记相关性的同时,通过引入特征空间中的概率超图模型,提出一种嵌入样本流形结构与标记相关性的多标记降维算法.在十个多标记数据集和六种评价准则上的实验结果证明了所提算法的有效性.     

一种解决命名实体识别数据集类别标记失衡的方法

命名实体识别研究中常见的公开数据集普遍存在数据类别标记不平衡的问题,限制了基于统计学习模型方法性能的进一步提高.针对上述问题,提出了基于遗传算法的数据类别标记平衡方法.该方法基于原始数据集中已有的标记数据,通过修改遗传算法中的指标适应度函数和基因组合规则,合成类别分布均衡的文本用以扩充原始数据集,降低标记数据不平衡性从而改善命名实体识别的效果.为验证该方法的有效性,采用Bi-LSTM-CRF模型分别基于CoNLL 2003及JNLPBA数据集设计了该方法与平衡欠采样、随机过采样方法的对比实验.从实验中发现,提出的方法在CoNLL2003数据集上模型召回率提高3.26%,F_1值提高1.70%;在JNLPBA数据集上召回率提高2.44%,F_1值提高1.03%.实验结果表明,提出的方法能够有效地缓解类别标记失衡问题达到提高命名实体识别效果的目的.     

上市公司财务预警的T逻辑回归模型

针对经典的逻辑回归模型易受到样本类别噪声干扰的问题,采用T逻辑回归算法中的非凸损失函数以弥补这一不足。对T逻辑回归模型及求解算法进行了分析,建立T逻辑回归财务预警模型,并结合沪深上市公司财务数据开展实证分析,结果表明T逻辑回归模型具有较好的分类效果和鲁棒性。     

一种基于类不平衡学习的情感分析方法

针对网络评论中普遍存在的负面评论较少而影响力却较大的类不平衡问题, 提出一种基于类不平衡学习的情感分析方法. 该方法利用深度学习训练过程中的概率输出, 以计算样例的信息熵作为影响因子构建交叉信息熵损失函数. 在IMDB公开数据集上进行实验验证的结果表明, 基于集成信息熵损失函数的双向长短期记忆网络能处理类不平衡问题; 对数据的统计分析结果表明, 该策略能提升基于双向长短期记忆网络的评论情感极性分类性能. 针对AUC(area under curve)指标, 使用集成信息熵损失函数的双向长短期记忆网络模型比未考虑类不平衡的深度学习模型在中位数上最多提升15.3%.     

构建新包空间的多示例学习方法

针对已有神经网络方法采用示例决定标记从而导致多示例学习(MIL)中包结构信息丢失的问题,提出了一种新的RK_BP多示例学习方法.在示例空间,首先采用粗糙集对其进行属性约简;然后进行K均值聚类,利用聚类点构造新包空间;在新空间中,利用误差反向传播神经网络算法进行分类.在多个测试数据集上对算法进行测试,结果表明该算法可有效解决已有神经网络方法包结构信息丢失问题,明显提高分类性能.     

基于近邻决策域内局部分布密度的改进KNN算法

经典KNN算法和以往的基于密度的改进KNN算法都缺乏对训练样本数据分布的有效性描述,因此会间接影响到分类结果。提出一种基于测试样本近邻决策域内局部密度的改进KNN算法,通过计算各不同类别在近邻决策域内的局部密度,并同时考虑到类间偏斜度的存在,得到各类密度补偿系数和倾斜度平衡因子,从而达到削弱高数量、大密度类别,增强小数量、低密度类别的目的。在UCI数据集上的实验结果表明,该改进算法在保持经典KNN算法分类准确度的基础上,能够提高分类的召回率和F1-measure指标。     

基于改进型深度网络数据融合的滚动轴承故障识别

针对传统智能诊断方法依赖于信号处理和故障诊断经验提取故障特征以及模型泛化能力差的问题,基于深度学习理论,提出将卷积神经网络算法结合softmax分类器,针对数据集不平衡问题引入加权损失函数、正则化以及批量归一化等模型优化技术搭建适于滚动轴承故障诊断的改进型深度卷积神经网络模型。模型从原始实测轴承振动信号出发逐层学习实现特征提取与目标分类。实验结果表明,优化后的深度学习模型可实现对早期微弱故障、不同程度故障的精确识别,在不平衡数据集上也可达到95%的识别准确率,并且模型拥有较快的收敛速度和较强的泛化能力。     

基于Stacking集成学习的网络安全态势预测方法

针对现有的网络安全态势预测模型预测精确度低且泛化能力差等问题,提出一种基于Stacking模型融合的态势预测方法。该方法中,借助Stacking算法将TCN网络、WaveNet、GRU、LSTM进行集成挖掘态势数据之间的相关性;之后利用逻辑回归进行预测得到最终态势值;利用粒子群优化算法进行参数寻优,提升模型性能。基于2个数据集进行验证,实验表明,所提预测方法具有较小的均方误差和平均绝对误差,收敛速度较快,拟合度均可达0.999,可以很好解决预测精确度低的问题,提升了模型的泛化能力。     

基于类标签的离散监督哈希算法

基于哈希算法的相似性检索以其高效性和实用性受到学术界的广泛关注。为了提升哈希学习算法的准确性和扩展性,提出了一种基于类标签的离散监督学习算法。首先,假设每个类标签都存在一个潜在的哈希码,并深入探索了类标签的关联性与其哈希码之间的关系,用以求解每个类的哈希码;然后,度量数据点的哈希码与类哈希码间的内积关系构建度量模型,同时采用非线性核函数建立量化模型;最后,在求解哈希码的过程中,采用了离散求解法以提升准确性。NUS-WIDE和CIFAR-10数据集的实验结果均表明,基于类标签的离散监督哈希算法是有效的。     

融合样本相似性的弱监督多标签分类

针对面向实际应用场景中数据标签易残缺导致有监督多标签分类方法可用训练数据量减少，未能利用大量标签缺失数据中蕴含的样本特征空间关联知识以最大化判别间隔，限制多标签分类效果等问题，本文提出一种融合样本相似性的弱监督多标签分类方法.该方法利用标签相关性和样本相似性恢复标签以提高数据利用率，并将标签恢复嵌入到训练过程中以便挖掘标签相关性，通过近端加速梯度法进行参数优化，建立弱监督学习场景的多标签分类模型.在真实数据集上的实验结果表明，该方法能够利用样本相似性有效提升模型在标签残缺时的分类能力，实用价值大.      

不平衡类分类问题的逻辑判别式算法

针对不平衡分类问题,提出了逻辑判别式算法.该算法使用拟牛顿法迭代求解模型参数,考虑模型的准确率和召回率,构造了新损失函数(Likelihood Estimation and Recall Metric,LERM);设计了用于不平衡类问题的逻辑判别式算法(Logistic Discrimination Algorithms for Imbalance,LDAI).16个数据集上的实验结果表明,与传统的逻辑判别式、基于过采样和欠采样的逻辑判别式相比,LDAI模型在召回率、f-measure、g-mean等指标上都表现出明显优势.