面向不均衡小样本训练集的改进Boosting算法

传统的Boosting算法训练出的分类器常会出现过拟合和向多数类偏移.为此,提出一种基于自适应样本注入和特征置换的Boosting学习算法,通过在训练过程中加入人工合成样本,逐渐平衡训练集,并通过合成的样本对分类器学习进行扰动,使分类器选择更多有效的特征,提高了分类器的泛化能力.最后,在两类和多类图片分类问题上对该算法的有效性进行了考察,实验结果表明,该算法能够在样本数很少,且正负样本数量极不均衡的情况下,有效提高booting算法的泛化能力.     

深度自编码与改进损失函数在极端不均衡故障诊断中的应用

在实际应用中,滚动轴承大多时候都是在正常状态下工作,因此收集到的故障数据较少,这就会产生数据不均衡的问题.这种数据不均衡问题极大地影响着模型的拟合和泛化能力,导致模型产生过拟合情况,而往往忽视对小类别样本的学习.尤其当故障样本数极少时,此问题更突出.针对这个问题,提出一种基于改进交叉熵损失函数的深度自编码器的诊断模型,首先提取振动数据的小波包能量,其次将小波包能量输入到深度自编码器中,最后通过SoftMax分类器得到诊断结果.改进的加权损失函数可以根据各类别样本的数量调整权重系数,样本数量越少,系数越大,使得模型在训练时更专注于数量较少的样本.通过在凯斯西储大学及西安交通大学的轴承数据集上的两个实验表明,加权损失函数可以提高极端不均衡数据的诊断精度.     

基于新型集成分类器的非平衡数据分类关键问题研究

针对非平衡数据分类问题,提出了一种基于差异采样率的重采样算法（differentiated sampling rate algorithm, DSRA）,基于DSRA设计了一种新的集成分类器(SVM-Ripper ensemble classifier, SREC）。SREC采用独特的分类器选择策略、分类器集成策略、分类决策方案,可获得较高的分类精度。同时,利用SREC对影响非平衡数据分类的关键问题进行了研究。结果表明,非平衡数据分类问题本质上是由正负样本类间非平衡、类内非平衡、样本规模以及样本非平衡度等诸多因素引起的,只有综合考虑这些因素才能更好地解决非平衡数据分类问题。     

带有方差减小的加权零阶随机梯度下降算法

随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题.     

基于资源基础观的科技资源共享机构建设机制研究

科技资源共享是优化国家科技资源配置的重要手段之一。本文从资源基础理论出发,深入分析了我国科技资源管理和服务机构的发展历程以及不同发展阶段的资源需求,提出依据科技资源管理和服务机构的发展阶段,制定促进科技资源共享组织发展的对策建议。本研究将为国家科技基础条件平台建设和地方科技条件平台建设提供参考。     

中文情绪识别方法研究

以中文情绪语料库(Ren-CECps)为基础,重点研究了句子级情绪识别方法.比较了不同特征以及不同机器学习分类方法(NB,SVM,ME)对情绪识别的影响.此外,针对情绪文本和非情绪文本在语料中的分布非常不平衡问题,通过集成学习的算法来实现不平衡情绪识别,用以提高情绪识别的整体性能.实验结果表明:使用基于样本的集成学习方法能够有效解决不平衡问题,明显提高情绪识别的分类性能.     

融合GAN与深度神经网络的混合信用评估方法

随着信用卡和个人贷款业务在金融业的快速增长,如何在信息有限的情况下检测潜在违约或坏账业务已经变得极其重要。信用评分领域面临的主要困难是样本不平衡以及分类器性能不佳,为此本研究首先提出了一种基于表格数据的生成对抗网络Tab-GAN,从原始数据中生成足够的违约样本;随后设计了一种基于CNN-LSTM的混合深度学习模型用于特征提取,该模型包含卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆神经网络(Long Short-Term Memory,LSTM)两个子模型,分别从用户数据中提取静态局部特征和动态时间特征,并加入时空注意力模块对模型的输出进行重要度计算,从而抽取更关键的信息;最后在分类器层面引入焦点损失函数改进轻量级梯度提升机(Light Gradient Boosting Machine,LightGBM)分类器,实现违约风险的概率输出。在两个真实世界数据集中验证风险预测模型,实验结果表明生成对抗网络可以有效解决样本不平衡问题,CNN-LSTM+LightGBM模型在各项分类评价指标上均优于信用评分领域的其他先进算法,证明了该模型在信用评分领域的有效性和可移植性。     

Hierarchical Covering Algorithm简

The concept of deep learning has been applied to many domains, but the definition of a suitable problem depth has not been sufficiently explored. In this study, we propose a new Hierarchical Covering Algorithm （HCA） method to determine the levels of a hierarchical structure based on the Covering Algorithm （CA）. The CA constructs neural networks based on samples＇ own characteristics, and can effectively handle multi-category classification and large-scale data. Further, we abstract characters based on the CA to automatically embody the feature of a deep structure. We apply CA to construct hidden nodes at the lower level, and define a fuzzy equivalence relation R on upper spaces to form a hierarchical architecture based on fuzzy quotient space theory. The covering tree naturally becomes from R. HCA experiments performed on MNIST dataset show that the covering tree embodies the deep architecture of the problem, and the effects of a deep structure are shown to be better than having a single level.     

七鳃鳗神经系统的混沌仿真

使用WLC网络模型对七鳃鳗神经系统进行建模,提出一种计算最大李亚普诺夫指数的新方法——改进的小数据量法,典型非线性系统的仿真结果表明,同Wolf方法相比,新算法得到的结果更加精确。基于新算法的数值仿真表明,当没有外界刺激时,七鳃神经系统处于稳定状态,随着外界刺激的不断增加,七鳃鳗神经系统逐渐进入混沌状态,但是,当外部刺激增加到一定程度以后,七鳃神经系统又回到稳定状态。     

基于自适应多分类器系统的甲状腺疾病诊断方法研究

甲状腺释放甲状腺激素以调节人体的新陈代谢速率,甲状腺激素过多或过少分别会引起甲亢或甲减,都属于甲状腺疾病.在实际医疗数据中,甲状腺疾病数据属于典型的不均衡数据.传统的分类方法往往忽略了不均衡数据存在的异构现象(不均衡程度,特征维度,类别数目在不同数据集中各不相同).针对甲状腺疾病数据的类分布不均衡现象以及异构现象,本文提出一种自适应多分类器系统(adaptive multiple classifier system,AMCS),构造多分类器集成系统,自适应地对异构不均衡甲状腺疾病数据进行分类来辅助甲状腺疾病的诊断.AMCS系统包括特征选择,集成框架,基分类器以及集成规则四个组成部分,每一组成部分由不同的算法组成候选池,根据不同数据存在的异构现象,自适应地为异构数据选择最优集成算法.本文采用KEEL和UCI提供的10组异构甲状腺疾病数据进行实验,验证了本文所提出的方法在辅助甲状腺疾病诊断的有效性.