代价敏感的客户流失预测半监督集成模型研究

客户流失预测是企业客户关系管理的重要内容.在现实的很多客户流失预测建模过程中,由于数据类别的高度不平衡现象的存在,使得模型的分类性能低下,不能很好地进行分类预测.同时由于现实情况中只有少量有类别标签的样本,更多的是无类别标签数据的存在,造成了大量有用信息的浪费.为了解决以上两个问题,本研究将元代价敏感学习,半监督学习和Bagging集成等技术结合,提出了代价敏感的客户流失预测半监督集成模型(semi-supervised ensemble based on metacost,SSEM).该模型主要包括三个阶段:1)用Metacost方法修改初始有标签训练集L的类别标签,得到新的训练集Lm,并将其随机的分为模型训练集Ltr和模型验证集Va;2)使用Va挑选分类精度最高的三个基分类器,并用其选择性标记无类别标签U中的样本,并将它们添加到Ltr中;3)用新的模型训练集Ltr训练N个基本分类模型,并对测试集样本进行分类,进一步将分类结果进行集成.在两个客户流失预测数据集上进行实证分析,将SSEM模型与常用的监督式集成模型以及半监督式集成模型相比,结果表明,SSEM具有更好的客户流失预测性能.     

一种基于弱标签的三维模型语义自动标注方法

随着三维应用的普及,三维模型大量产生并广泛传播。由于三维模型广泛应用于计算机辅助设计、三维游戏、电影特效制作等诸多领域,已经形成了大量的三维模型数据库。三维模型语义标注的目的是给出描述其语义的标注词,是三维模型管理和基于文本的三维检索的关键技术。针对互联网大量存在的弱标签三维模型现状,提出一种基于弱标签的三维模型语义标注方法LPMLL,首先,采用半监督学习方法进行标签传播,得到标注词置信度,达到提升训练集的目的。然后,采用一种基于最大后验概率准则的方法进行多标签学习,得到最终标注词。实验数据表明了该方法的有效性。     

小样本条件下的通信辐射源半监督特征提取

在通信辐射源信号有标签样本数量较小的情况下,同类通信辐射源个体信号特征提取困难且识别精度较低。对此,提出了一种小样本条件下的通信辐射源半监督特征提取方法。该方法对少量有标签通信辐射源信号样本以及大量无标签通信辐射源信号样本进行变分模态分解提取高维稳态信息熵,利用指数半监督判别分析法映射信息熵形成个体特征,并通过XGBoost进行通信辐射源个体识别来验证识别效果。实验表明,所提方法识别准确率达到85.33%,相比无监督特征提取方法运算时间降低了76.17%,证明其在同类通信辐射源不同个体识别中具有较好的性能。     

小样本条件下的通信辐射源半监督特征提取

在通信辐射源信号有标签样本数量较小的情况下,同类通信辐射源个体信号特征提取困难且识别精度较低。对此,提出了一种小样本条件下的通信辐射源半监督特征提取方法。该方法对少量有标签通信辐射源信号样本以及大量无标签通信辐射源信号样本进行变分模态分解提取高维稳态信息熵,利用指数半监督判别分析法映射信息熵形成个体特征,并通过XGBoost进行通信辐射源个体识别来验证识别效果。实验表明,所提方法识别准确率达到85.33%,相比无监督特征提取方法运算时间降低了76.17%,证明其在同类通信辐射源不同个体识别中具有较好的性能。     

基于生成对抗网络的半监督图像语义分割

提出了一种基于生成对抗网络的语义分割模型,包括一个全卷积语义分割网络以及一个判别网络,其中语义分割网络负责生成与输入图像对应的语义分割图,判别网络负责检测分割图与真实标签的区别,以促使分割网络改进分割效果。为了更好的提取全局结构信息,语义分割网络中采用了金字塔池化模块,对不同规模的空间区域进行池化操作。另外,为了应对语义分割训练数据集人工标注成本过高的问题,利用判别网络生成伪标签协助语义分割网络进行训练,从而实现了半监督训练效果。模型在PASCAL VOC2012数据集中进行了测试,结果表明该模型在全监督和半监督条件下均优于已有方法。     

局部学习半监督多类分类机

半监督多类分类问题是机器学习和模式识别领域中的一个研究热点, 目前大多数多类分类算法是将问题分解成若干个二类分类问题来求解. 提出两种类标号表示方法来避免多个二类分类问题的求解, 一种是单位圆类标号表示方法, 一种是二进制序列类标号表示方法, 并利用局部学习在二类分类问题中的良好学习特性, 提出基于局部学习的半监督多类分类机. 实验结果证明采用了基于局部学习的半监督多类分类机错分率更小, 稳定性更高.     

跳频信号盲检测的半监督干扰对消方法

实际跳频信号所处的电磁环境较为复杂且难以预料，这给基于仿真数据训练的检测算法带来困扰。针对这一问题，提出一种名为半监督干扰对消的方法。该方法首先以暹罗嵌套Unet为主干，引入图注意力机制和集成通道注意力模块，得到干扰对消网络，并用成对的跳频信号时频图以及对应的标签对其进行预训练，使其获得干扰对消及检测信号的能力。然后，将没有标签、干扰更为复杂的时频图输入到干扰对消网络，得到低熵预测，作为伪标签。同时，对这些没有标签的时频图进行强增强，得到变形时频图。训练网络使得变形时频图的检测结果与伪标签具有一致性，从而强化网络在没有标签的数据上的泛化能力。仿真结果表明，所提方法可以在复杂干扰下实现参数估计和盲检测，并利用无标签数据增强网络性能。     

改进的渐进直推式支持向量机算法

针对半监督学习中渐进直推支持向量机(Progressive Transductive Support Vector Machines, PTSVM)算法存在训练速度慢, 回溯式学习多,学习性能不稳定的问题,提出一种改进的渐进直推支持向量机算法---IPTSVM.该算法利用支持向量的信息选择新标注的无标签的样本点,结合增量支持向量机的迭代更新算法, 继承渐进直推支持向量机渐进赋值和动态调整的规则, 与PTSVM相比,不仅在一般情况下提高了分类的精度,而且大大提高了算法的速度.在人工模拟数据和真实数据上的实验结果表明了该算法的有效性.     

基于特征子空间与流形正则化的高效增量半监督特征选择方法

基于Fisher Score的前向序列选择法是目前性能良好并广泛使用的一种有监督特征选择方法.然而，该方法只能对有标签样本进行分析，无法利用大量"廉价"的无标签样本信息；并且随着已选特征的个数的增加，对候选特征进行评分的计算复杂度呈三次方形式增加.针对这两个问题，提出基于特征子空间与流形正则化的高效增量半监督特征选择方法.一方面，该方法通过提取有标签与无标签数据的局部线性表示来进行半监督特征选择，使得所选特征能够保持数据的局部流形结构信息；另一方面，该方法基于特征子空间理论进行特征评分，时间复杂度取决于特征空间的维数而非已选特征的个数，如果特征空间的维数是固定的，该方法将花费几乎恒定的时间来评价每一个候选特征.相比于基于Fisher Score的前向序列选择法选择特征的三次方复杂度，所提方法在时间效率方面得到很大提升.在五个标准数据集上进行了实验，所得结果验证了该方法的有效性.     

基于预聚类主动半监督的作战体系效能评估

针对作战仿真实验中体系效能通常依靠专家评估、评估代价较大的问题,提出一种基于预聚类主动半监督学习的作战体系效能评估方法。明确了使用该方法进行作战体系效能评估的基本流程,以及自顶向下的评估模式和二值化的评估标准。重点构建了预聚类主动半监督学习算法,首先,结合作战仿真实验数据的特点,对未评估样本进行预聚类,选择最有价值的样本供专家标注;然后,使用已标注的样本训练主动学习算法和半监督学习算法的公用学习器;最后,利用主动学习算法挑选价值较高的样本交由专家评估,并利用新样本对学习器进行不断更新。作战仿真实验数据表明,该方法在达到预期评估准确度的同时降低了评估代价,能有效应用于大规模作战仿真实验的体系效能评估。     

一种采用LLE降维和贝叶斯分类的多类标学习算法

多类标数据中的样本可能属于一个或多个类标,因此其分类问题较单类标分类更为复杂。提出一种新的多类标学习算法,首先针对多类标数据的特征属性维数高的特点,采用LLE算法对多类标数据的特征属性进行降维,提取能较完整描述数据的一组低维特征属性集;然后将多类标样本集按所属的类标进行划分,并采用贝叶斯分类模型来学习各组样本集的分类特性;根据各个分类模型的判定类标,综合得到多类标样本的最终类标集。将该算法分别应用到自然场景图像和基因数据的多类标分类学习中,实验结果表明,该算法针对不同的多类标数据集均能取得很好的分类效果,且相比于其他多类标算法有更高的性能。     

A self-similar local neuro-fuzzy model for short-term demand forecasting

This paper proposes a selfsimilar local neurofuzzy （SSLNF） model with mutual informati onbased input selection algorithm for the shortterm electricity demand forecasting. The proposed self similar model is composed of a number of local models, each being a local linear neurofuzzy （LLNF） model, and their associated validity functions and can be interpreted itself as an LLNF model. The proposed model is trained by a nested local liner model tree （NLOLIMOT） learning algorithm which partitions the input space into axisorthogonal subdomains and then fits an LLNF model and its associated validity function on each subdomain. Furthermore, the proposed approach allows different input spaces for rule premises （validity functions） and consequents （local models）. This appealing property is employed to assign the candidate input variables （i.e., previous load and temperature） which influence shortterm electricity demand in linear and nonlinear ways to local models and validity functions, respectively. Numerical results from shortterm load forecasting in the New England in 2002 demonstrated the accuracy of the SSLNF model for the STLF applications.     

Novel ensemble learning based on multiple section distribution in distributed environment

Because most ensemble learning algorithms use the centralized model, and the training instances must be centralized on a single station, it is difficult to centralize the training data on a station. A distributed ensemble learning algorithm is proposed which has two kinds of weight genes of instances that denote the global distribution and the local distribution. Instead of the repeated sampling method in the standard ensemble learning, non-balance sampling from each station is used to train the base classifier set of each station. The concept of the effective nearby region for local integration classifier is proposed, and is used for the dynamic integration method of multiple classifiers in distributed environment. The experiments show that the ensemble learning algorithm in distributed environment proposed could reduce the time of training the base classifiers effectively, and ensure the classify performance is as same as the centralized learning method.     

结合Nystrm逼近的图半监督纹理图像分割

针对半监督学习算法在图像分割中的应用,提出了一种基于流形插值的半监督图像分割方法。该方法将分类问题看作一个流形上的函数的插值问题,通过优化某些系数来更好地拟合数据。该算法采用稀疏图可解决大规模矩阵特征值和特征向量的求解。但是,对于图像分割来说,构造稀疏图的运算时间较长,针对这一问题,提出采用Nystrm逼近方法来降低计算复杂度。合成纹理图像分割结果验证了该算法可获得良好的分割质量,结合Nystrm逼近方法在保证分割质量的前提下从很大程度上提高了计算效率。     

基于改进BP神经网络的公交线路OD矩阵推算方法

公交线路OD矩阵是公交线路优化设计调整的基础性数据，针对传统解析模型对输入数据敏感性高造成OD推算效果不理想的缺陷，提出了以改进BP神经网络为基础，根据公交站点上下客数据建立公交线路OD矩阵的推算模型，并设计了OD推算神经网络。进而基于算例数据，应用数值试验对神经网络设计的核心参数进行了标定并给出OD推算的计算结果。算例分析结果表明，使用此方法能显著提高预测的精度，推算结果更具可靠性且更能反映公交线路的需求分布状况。     

基于半监督广义可加Logistic回归的信用评分方法

传统的信用评分模型主要基于有监督学习(supervised learning)方法,但是,在实际的贷款问题中,有标记样本信息的获取往往成本较高、难度较大、周期较长,而无标记样本信息则大量存在.为了能在建模中充分利用无标记样本信息,本文提出了一种基于半监督广义可加(semi-supervised generalized additive,SSGA) Logistic回归的信用评分模型.该模型不但能处理线性不可分问题,也能同时利用有标记与无标记样本信息,并同步实现模型参数的估计和显著变量的选择.通过模拟实验表明,所提出的模型在外推预测和变量选择方面的表现均显著优于有监督模型.最后,将该模型应用于个人信用贷款违约风险的评估中.