基于委员会投票选择方法的主动学习的研究

讨论了利用QBC(委员会投票选择)的主动学习方法来学习贝叶斯网络分类器,通过对基于投票熵和基于KL-divergence的QBC算法的研究,指出了两者存在的缺陷;同时提出了基于投票熵与类条件后验最大熵相结合的QBC算法。实验证明,该算法提高了分类器的精度,并使用了较少的训练样本,这有效解决了大数据量训练样本获得困难的情况下分类器建模问题。     

基于主动学习SVM分类器的视频分类

提出一种基于主动学习SVM分类器的视频分类算法.该算法分为两个步骤:首先分析并提取与视频类型有关的十维底层视觉特征;然后用SVM分类器建立这些底层特征与视频类型之间的联系.在获取SVM分类器所需的训练样本时,采用主动学习的方法选择对SVM分类器最"有用"的样本提供给用户进行标注,用更少的训练样本获得与大量训练样本近似的分类效果,从而减轻用户标注负担.针对多类SVM分类的主动学习问题,提出用后验概率计算分类器对未标注样本的置信度进行样本选择.实验结果表明,主动学习算法与随机采样标注的被动学习算法相比,在相同的训练样本情况下能够获得更高的分类精度;而基于后验概率选择样本的主动学习要略好于传统的基于变型空间(version space)选择样本的主动学习.     

基于主动学习的有监督在线多核学习算法

为了提高大规模数据的分类性能,提出一种基于主动学习的有监督在线多核学习算法SOMK_AL(Supervised online multiple kernel learning algorithm based active learning).首先,采用主动学习的方法缩减数据规模.通过训练生成两个分类器,对读入数据xt进行预测,将两个分类器预测类别不一致的数据作为信息含量高的有标记数据,参与在线学习过程中的核更新;接着,在核集成过程中,通过随机抽样的方法构造核函数集的子集,仅仅在子集中实现核更新,缩减核更新的计算规模.最后,在大规模数据的基准数据集上进行实验,对提出的算法的有效性进行评估,结果表明SOMK_AL能较好地提高数据的分类性能.     

基于空问定位的聚类算法在电信业客户划分中的应用

随着电信市场竞争的不断加剧,电信企业传统的营销模式正在向主动、精确营销模式转变.因此,客户划分显得至关重要.采用数据挖掘中聚类的方法对电信业的客户进行划分,在比较了现有聚类算法计算复杂度普遍较高的的基础上,采用了一种基于空间定位的方法,将客户数据对象映射到特征空间中,并利用空间立方体的某些特殊顶点定位任意数据,通过计算数据点与空间立方体顶点群的距离差异,完成聚类过程.为了适合电信业客户的特殊性质,改进对客户属性数据的处理过程.通过电信客户的数据实验结果表明,算法的时间复杂度降至 O(N) 级别.     

基于代表的交叉验证分类

基于代表的邻域覆盖粗糙集分类算法,在某些数据集上表现良好,数据的类别不平衡问题严重影响算法的分类精度.为尽量消除类别不平衡问题的影响,在k折交叉验证方法的基础上,针对基于代表的邻域覆盖粗糙集分类算法,提出了3种集成策略.策略1依靠k折交叉验证,获得对应的k个基分类器,所有的基分类器组成委员会对未分类样本分类;在策略1的基础上,策略2选择分类精度相对较高的基分类器组成委员会,对未分类的样本进行分类;策略3在前2种策略的基础上,利用主动学习的思想,对训练集进行扩充,得到新的分类器再对未分类样本分类.实验所用数据集为UCI标准数据集,且对k的取值做了对比实验.结果显示,3种策略均有不同程度的提升,且k取5时总能取得较好的提升效果.对于不同数据集,应选择相适应的改进策略.     

一种基于Seeds集和成对约束的主动半监督聚类算法

针对半监督聚类算法中监督信息使用不充分,监督信息中信息含有量低的问题,提出一种结合主动学习的半监督聚类算法.首先结合使用数据的类别标记和成对约束信息,指导Kmeans聚类过程,设计出一种基于Seeds集和成对约束的半监督聚类算法SC-Kmeans;其次将主动学习算法引入到SC-Kmeans中,以尽量小的代价选取信息含有量更高的监督信息,提高SC-Kmeans算法的聚类精度;最后在UCI标准数据集上进行仿真实验.实验结果表明,该算法取得了较好的聚类效果,有效提高了聚类准确率.     

基于聚类技术的集成学习方法研究

研究了基于聚类技术提高分类器差异性的方法.通过Bootstrap技术与分类器学习算法训练分类器模型,利用分类器在验证集上的分类结果作为聚类的数据对象;然后应用聚类算法对这些数据聚类,并在每个簇中选择分类器代表模型,以此构成集成学习的成员;最后应用融合方法实验研究了基于聚类技术提高差异性的集成学习性能,并与集成学习方法bagging,adaboost进行了实验比较.     

改进的主动学习算法及在高光谱分类中的应用

针对主动学习算法能主动从大量未标记样本中选择最能提高分类器性能的样本加入训练集,可从小的非最优训练集建立高性能的分类器这一特点,以及传统主动学习算法熵值装袋查询的多值偏置问题,提出了改进的均值熵值装袋查询算法,引入权值函数保证了取样的多样性.通过对高光谱遥感图像分类的实验表明:主动学习只需大约20%的样本即可达到使用全部数据集作为训练集的分类效果,而且均值熵值装袋查询方法具有较高的分类精度,同时拥有较快的收敛速度.     

基于数据挖掘的客户分类应用研究

随着电信市场竞争的不断加剧,电信企业传统的营销模式正在向主动营销和精确营销转变,因此客户分类显得至关重要。本文讨论基于数据挖掘的客户细分方法,提出了套电信行业客户分类的数据挖掘技术应用解决方案,并对电信公司小灵通客户进行了应用分析。     

多阶段聚类—朴素贝叶斯的异常检测

针对异常检测手段用来标定数据集中明显的不同于其他数据的对象,提出多阶段聚类旨在解决噪声数据的引入和缺失属性样本的处理,并改变传统的贝叶斯分类的被动学习为主动学习的方式来构造性能优越的分类器。在数据预处理阶段,利用密度聚类滤去噪声点,密度聚类的输出作为下一阶段的K-means聚类的输入,提高了K-means的分类准确率。K-means负责对缺失属性的样本进行处理。在分类阶段,利用adaboost学习算法优化朴素贝叶斯分类器,使其获得较好的分类效果。     

遗忘遗传算法及其在信用评分中的应用

为解决局部最优问题,将遗忘机制引入传统遗传算法中,提出了一种改进的遗忘遗传算法,给出了一种遗忘算子及其遗忘概率,通过在遗传过程中遗忘某些基因,增加了算法的搜索空间,使算法跳出局部最优,从而最大限度地避免早熟收敛.将该算法用于不同欠费率下的电信客户初始信用评分,找到信用权重的优化解,较好地解决了对高欠费率群体进行信用评分时,信用权重的适应值偏低的问题.实验结果表明所提算法有效可行.与标准遗传算法相比,本文所提算法可以获得更高质量的解.     

基于MBBC算法的电信客户信用度评分模型

客户信用度是评价客户欠费风险的指标.目前国内对电信客户信用度评估采用线性公式,其对相关客户属性的权值进行简单的相加,但是实际客户信用度与各相关属性之间并不是简单的线性关系,而是非线性关系.因此,针对电信客户信用度评分问题,提出了一种应用马尔科夫毯贝叶斯网络分类器建立模型的方法.实验结果显示,该算法建立的客户信用度评分模型简洁、易懂和准确率高.     

基于信度分配函数的Agent强化学习算法

基于智能体 (Agent)系统强化学习原理和基于动态规划的Q -学习算法的基础上 ,提出了一种新的Agent强化学习算法 .该算法在Agent学习过程中不断调整Agent知识库的加权值 ,在强化学习的每个阶段 ,通过选取合适的信度分配函数来修正Agent强化学习动作的选取策略 .与标准的Q -学习方法相比 ,具有更加合理的物理结构 ,并且能保证算法收敛 .仿真实验说明该方法加快了标准Q -学习算法的收敛速度 ,具有较好的学习性能     

基于不确定抽样的半监督城市土地功能分类方法

为提高分类准确率, 解决城市区域社会功能标签分类难的问题, 提出了一种基于不确定抽样选择策略的半监督城市土地功能分类方法。该算法从轨迹数据中提取城市区域的特征向量, 只需对少量区域进行标签, 根据不确定抽样的主动学习选择策略, 从未标注训练样本中选取具有较多信息的数据, 利用半监督学习算法进行标注, 得到新的标注训练样本添加到训练集, 反复迭代后得到分类结果。实验结果表明, 该方法对不同社会功能的城市区域分类准确率可达90. 2%, 与传统方法相比分类准确率高, 减少了大量标注工作, 在少数标签数据上仍有较好的分类效果。     

图像检索中基于标记与未标记样本的主动学习算法

为解决监督学习过程中训练样本集过小问题，提出一种未标记样本辅助学习与主动学习相结合的学习方法．基于用户已标记样本与数据库内未标记样本，利用EM算法得到初始朴素贝叶斯分类器与初始假设；主动学习算法寻找数据库内对于优化学习过程最有用的样本请求用户标记；算法根据用户反馈，迭代更新已有查询概念，直至用户满意为止．实验表明，本文算法能够显著提高学习器的效率和性能，并可快速收敛于用户定义的查询概念．     

基于BO-XGBoost与集成学习方法的供应链金融信用评价研究

针对供应链金融领域中小企业融资的信用风险控制问题，提出了一种在Bagging算法框架下结合贝叶斯优化和XGBoost算法的集成学习模型BO-XGBoost-Bagging（BXB）。首先，基于XGBoost特征重要度进行特征筛选，建立供应链金融信用评价指标体系。其次，通过贝叶斯优化获得XGBoost的最优超参数，并结合Bagging算法得到集成模型BXB。最后，在中小企业数据集上进行预测，通过实证研究验证信用评价模型的有效性。实证结果表明，BXB模型相比其他模型具有更好的预测效果，能够更加准确、全面地对中小企业的信用风险进行评估，更好地区分风险企业和正常企业，最大程度减少违约损失，在供应链金融信用评价方面有着较高的应用价值。     

基于混合系统的信用风险评估

提出一种基于混合系统的信用风险评估方法,用于识别和评价中国商业银行信用风险。用自适应共振神经网络模型进行风险的定量分析,用专家系统进行定性分析,结合定量分析的结果,给出分析结论。实证分析的结果表明,对于统计方法和BP模型而言,自适应共振模型的误判率低,且风险分类的精度高,从而提高了整个混合系统评估的准确性。该方法具有较强的可操作性,可以得到较好的评估效果,适合于于中国的信用风险数据基础薄弱的情况。     

基于半监督学习的单类分类器

半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。