集成学习的多分类器动态融合方法研究

AdaBoost集成学习方法中,分类器一经学习成功,其投票权值就已确定,同一分类器对所有待测样本均有相同的投票权值。对于难于分类样本,具有良好分类性能的少数分类器权值却较低。提出适用于集成学习方法的权重自适应调整多分类器集成算法。根据多分类器行为信息,产生待测样本局部分类精度的有效判定区域,基于有效判定区域选择不同的分类器组合,并调整其相应权重,利用样本集上的统计信息来动态指导分类集成判决。实验结果表明,该算法提高了集成分类性能。     

基于SMOTEBoost的非均衡数据集SVM分类器

在对实际问题进行数据挖掘时面临的多数是非均衡数据集,即各种类型的数据分布并不均匀,且关注的类型常是少数类.运用含有少量少数类型事例的数据集训练后的模型进行预测时,通常对多数类的预测精度很高,而少数类的预测精确性却很差.提出了一种集成方法SMOTEBoostSVM,通过SMOTE技术人工生成增加少数类样本量,以具有较强分类性能和泛化性能的SVM作为弱分类器,并以AdaBoost算法构建集成分类器.实验结果表明,SMOTEBoostSVM集成分类器比单纯运用SMOTE技术、AdaBoost算法以及SVM等的分类器,在非均衡数据集的分类预测中具有更好的效果.     

基于SMOTE和深度迁移卷积神经网络的多类不平衡遥感图像分类算法研究

在遥感图像分类实际应用中，深度学习经常面临高光谱数据有效标签不完备、样本多类不平衡和数据分布随时空动态变化等问题，难以发挥优势。基于上述问题，提出一个基于人工少数类过采样方法(synthetic minority oversampling technique, SMOTE)和深度迁移卷积神经网络的土地覆盖分类算法。所提算法创新性地采用深度迁移学习，使算法能够学习不同时空相同地物的相似性，并利用SMOTE方法对学习数据进行类分布空间优化平衡，从而解决目标域数据不足和数据类不平衡问题。两组公开的高光谱遥感图像被用来验证所提算法的有效性。实验结果表明，相比传统的深度学习，所提算法能够更有效地解决数据不足和数据类不平衡问题提高分类精度。     

基于新型集成分类器的非平衡数据分类关键问题研究

针对非平衡数据分类问题,提出了一种基于差异采样率的重采样算法（differentiated sampling rate algorithm, DSRA）,基于DSRA设计了一种新的集成分类器(SVM-Ripper ensemble classifier, SREC）。SREC采用独特的分类器选择策略、分类器集成策略、分类决策方案,可获得较高的分类精度。同时,利用SREC对影响非平衡数据分类的关键问题进行了研究。结果表明,非平衡数据分类问题本质上是由正负样本类间非平衡、类内非平衡、样本规模以及样本非平衡度等诸多因素引起的,只有综合考虑这些因素才能更好地解决非平衡数据分类问题。     

基于自适应区间划分的模糊关联分类

模糊关联分类是一种具有较高精度的分类方法,现有的模糊关联分类算法多采用固定模糊隶属度函数对连续型属性进行模糊划分,没有考虑数据本身的特性.提出一种基于自适应区间划分的模糊关联分类算法-FARC(fuzzy association rules classification).算法利用模糊c均值聚类算法建立连续型属性模糊区间,使用新的剪枝策略避免生成无用规则,采用一种新的规则重要性度量方法对多模糊分类规则进行融合.仿真表明,FARC具有较高的分类精度.     

基于半模糊核聚类的模糊超球支持向量机多类分类方法

针对支持向量机(SVM)在大类别模式分类中存在的问题,提出了一种基于半模糊核聚类的超球SVM分类方法.该方法基于半模糊核聚类生成模糊类,利用模糊类提供的边缘样本信息,利用超球SVM进行多类分类,从而有效提高分类器的性能.实验表明,该方法比传统方法具有更高的速度和精度.     

面向个性化推荐的强关联规则挖掘

提出了适用于个性化推荐的强关联规则的概念,并给出一种基于矩阵的强关联规则挖掘算法.强关联规则集合能够以较少数量的规则表示全部有效关联信息,便于管理和应用.给出的强关联规则挖掘算法只需对交易数据库进行一次扫描,在挖掘过程中不断删除非频繁项使矩阵规模逐渐减小,并且避免了对冗余规则的挖掘, 从而提高了挖掘效率.通过对三组数据的实验表明:强关联规则集合包括的规则数量平均仅为规则总数的26.2{\%},有效解决了规则数量过多的问题.     

考虑决策风险偏好的自适应支持向量机模型

在构造可以控制不平衡性的分类器,准确识别少数类,并使得决策者可以根据风险偏好与分类器进行交互,这对于人工智能在管理实践中的应用有极为重要的价值。提出了一种自适应支持向量机(ASVM)模型,使得类间隔最大化的同时,决策损失最小化,并基于粒子群优化算法(PSO)调节参数。该模型内在地考虑了数据不平衡性,并可为决策者与分类器的交互提供有效支持。实验及仿真结果表明,该模型在各种样本不平衡情况下都有很好性能,分类准确率显著地优于对比方法,而且相对稳定,并能很好地根据决策者的偏好控制分类器的决策风险。     

基于AdaBoost改善虹膜分类性能

针对虹膜图像分辨率不同引起虹膜分类难的问题,提出了通过AdaBoost训练虹膜分类器的方法,利用训练集数据调整分类器参数使类内相似度达到最大,将虹膜分类器从弱分类器逐步提升为强分类器,最终为每类虹膜建立一个具有强分类能力的特征模板.仿真结果表明,在已有的特征提取算法和分类算法的基础上,利用训练数据通过自适应增强算法能进一步改善分类器分类性能,提高虹膜分类正确率,增大虹膜分类阈值的选择范围.     

一种基于Boosting的集成学习算法在不均衡数据中的分类

针对多类别不均衡数据的分类问题,从数据集的特征选择和集成学习两个角度出发,提出了一种新的针对不均衡数据的分类方法—BPSO-Adaboost-KNN算法,算法采用基于多分类问题的可视化的AUCarea作为分类评价指标.为了测试算法的性能,本文选取了10组UCI和KEEL选取的测试数据集进行测试,结果表明本算法在有效提取关键特征后提高了Adaboost的稳定性,在十组数据的分类精度上相比单纯使用KNN分类器有20%~40%不等的提高.在本算法和其他state-of-the-art集成分类算法对比中,BPSO-Adaboost-KNN能够取得较优或相当的结果.最后,本文将该算法应用到石油储层含油性的识别中,成功提取了声波、孔隙度和含油饱和度三个关键属性,在分类精度上相比传统分类算法有了大幅度提高,在江汉油田五口油井oilsk81~oilsk85上的分类精度均达到98%以上,比单纯使用KNN的精度高出了20%,尤其在最易错分的油层和差油层中有良好的分类效果.     

基于分区的部分最值查询优化算法

大规模数据库的建立和海量数据的不断涌现,需要从海量数据库和大量繁杂信息中提取有价值的知识,可以进一步提高网络安全信息的利用率. 另一方面,网络信息安全分析在面临海量数据时,其查询效率会大大降低. 分区技术使用户可以将大表分解为更小且更易管理的分区,从而解决海量数据带来的一些问题. 本文讨论了分区条件下部分最值的查询方法,介绍了一种用于提高这种查询效率的RBP-T （rank bisection partition tree）树型结构,并给出了相应的搜索算法. 通过实验证明,我们的方法对解决海量数据情况下的部分最值查询问题是有效的.     

2v-SSPC-一种不平衡数据分类方法

针对现有分类算法通常对不平衡数据挖掘表现出有偏性,即正类样本(通常是更重要的一类)的分类和预测性能差于负类样本的分类和预测性能,提出一种不平衡数据分类方法。该方法通过一个超球面将两类数据以最大分离比率分离,并且引入两个参数来分别控制两类错分率的上界,不仅提高了不平衡数据集的分类和预测的性能,而且大大缩小了参数的选择范围。在UCI真实数据上进行了实验,并采用ROC曲线下面积作为评估指标进行比较,结果验证了该方法的有效性。     

一种基于高斯过采样的集成学习算法

在数据挖掘研究领域,分类任务广泛存在着数据分布不均衡问题,例如制造状态检测,医疗诊断,金融服务,等等.SMOTE是处理不均衡数据分类问题的常用技术,与Boosting算法相结合可进一步提升分类系统性能,但是这种集成学习容易导致基分类器多样性缺失.基于此,本文提出了一种基于高斯过程SMOTE过采样的Boosting集成学习算法(Gaussian-based smote in boosting,GSMOTEBoost).该算法在Boosting集成框架下构建不均衡学习模型,为了提高分类系统的鲁棒性,采用基于高斯过程SMOTE过采样技术来增加基分类器训练样本的多样性,从而提高基分类器之间的差异.为了验证算法的有效性,以常用的处理不均衡分类问题的算法作为对比方法,采用KEEL数据库里的20个标准数据集对算法进行测试,以G-mean,F-measure以及AUC作为算法的评价指标,利用统计检验手段对实验结果进行分析.实验结果表明,相对于其他算法,本文提出的GSMOTEBoost具有显著的优势.     

基于偏t分布realized GARCH模型的尾部风险估计

借助偏t分布realized GARCH模型,提出同时考虑高频和低频信息的尾部风险估计方法,分别纳入RV、RRV和BPV构成尾部风险估计的对比模型,并利用上证综指高频数据进行实证分析.实证结果表明:相比EGARCH模型,realized GARCH模型能够提供更准确的VaR和ES估计;纳入对微观结构噪声和跳跃稳健的已实现测度有助于提高VaR和ES估计的准确性;realized GARCH模型在尾部风险估计中的表现对次贷危机前和次贷危机后两个不同的样本期间稳健.     

Text classification toward a scientific forum

Text mining, also known as discovering knowledge from the text, which has emerged as a possible solution for the current information explosion, refers to the process of extracting non-trivial and useful patterns from unstructured text. Among the general tasks of text mining such as text clustering, summarization, etc, text classification is a subtask of intelligent information processing, which employs unsupervised learning to construct a classifier from training text by which to predict the class of unlabeled text. Because of its simplicity and objectivity in performance evaluation, text classification was usually used as a standard tool to determine the advantage or weakness of a text processing method, such as text representation, text feature selection, etc. In this paper, text classification is carried out to classify the Web documents collected from XSSC Website （http：//www.xssc.ac.cn）. The performance of support vector machine （SVM） and back propagation neural network （BPNN） is compared on this task. Specifically, binary text classification and multi-class text classification were conducted on the XSSC documents. Moreover, the classification results of both methods are combined to improve the accuracy of classification. An experiment is conducted to show that BPNN can compete with SVM in binary text classification; but for multi-class text classification, SVM performs much better. Furthermore, the classification is improved in both binary and multi-class with the combined method.     

基于GA的多层次概念归纳学习方法

面向属性的归纳学习(亦称概念提升)是一种广泛使用的知识发现方法。通过归纳学习,使得属性域取值的抽象程度提高,从而得到较精练的数据集合,大大提高了规则的学习效率。但是实际应用环境中的数据属性维数非常多,属性概念层次也非常复杂,基于集合论的传统学习方法的效率变得越来越低。基于遗传算法的高搜索性能,提出了一个概念空间的特征概念层次优化搜索方法,特别是处理高维、具有复杂概念层次的问题时收到了较好的效果。     

基于修正核函数SVM的网络入侵检测

支持向量机分类方法在小样本、非线性情况下具有较好的泛化性能,在入侵检测系统中有着广泛的应用。针对入侵检测过程中可能出现的由两类样本不平衡造成的分离超平面偏移现象,以核函数所蕴含的黎曼几何为依据,引入一个伪一致性变换函数,对核函数进行修改,提高支持向量机的分类泛化能力,建立基于支持向量机的网络入侵检测系统,并对系统总体结构和运行机制进行了详细的描述。实验仿真表明,该系统可有效地提高入侵检测的准确率,改善由于数据集不平衡造成的支持向量机分类偏移的情况。     

基于模糊推理的多模导引头数据融合模型研究

本文应用模糊集理论，提出了一种基于模糊推理的多模导引头准判决级数据融合模型，给出了模型中参数的选取方法。该模型的特点是融合规则灵活，能兼顾系统的检测性能和抗干扰性能，能较好地处理系统各探测器获取信息的冲突性。