基于混淆矩阵的自适应纠错输出编码多类分类方法

利用纠错输出编码（error-correcting output code, ECOC）作为分解框架,把多类问题转化为二类问题进行求解,是目前解决多类分类的有效手段之一。如何构造基于数据的分解框架是应用此类方法的重点。为此,提出一种自适应纠错输出编码构造方法,利用混淆矩阵计算多类问题中各类别的相关性,基于Fisher准则找出最有利于分类的类别组合,最后根据组合方案构建类别的二类划分并最终形成输出编码。实验中分别对UCI数据集和3种一维距离像数据集进行测试,通过与几种经典的编码方法比较,结果表明该编码方法可以显著提高分类器的性能和稳健性。     

多项式光滑的半监督支持向量分类机

为了处理半监督支持向量分类优化中的非凸非光滑问题,引入一族多项式光滑函数来逼近非凸的目标函数,给出的多项式函数在样本的高密度区逼近精度高,逼近精度低时出现在样本的低密度区,同时可以根据不同的精度要求选择不同的逼近函数.采用BFGS算法求解模型.在人工数据和UCI数据集上的实验结果显示,算法不仅能保证标号数据很少时的分类精度,而且不因标号数据的增多而明显提高分类性能,因此给出的分类器性能是稳定的.     

结合Nystrm逼近的图半监督纹理图像分割

针对半监督学习算法在图像分割中的应用,提出了一种基于流形插值的半监督图像分割方法。该方法将分类问题看作一个流形上的函数的插值问题,通过优化某些系数来更好地拟合数据。该算法采用稀疏图可解决大规模矩阵特征值和特征向量的求解。但是,对于图像分割来说,构造稀疏图的运算时间较长,针对这一问题,提出采用Nystrm逼近方法来降低计算复杂度。合成纹理图像分割结果验证了该算法可获得良好的分割质量,结合Nystrm逼近方法在保证分割质量的前提下从很大程度上提高了计算效率。     

基于半模糊核聚类的模糊超球支持向量机多类分类方法

针对支持向量机(SVM)在大类别模式分类中存在的问题,提出了一种基于半模糊核聚类的超球SVM分类方法.该方法基于半模糊核聚类生成模糊类,利用模糊类提供的边缘样本信息,利用超球SVM进行多类分类,从而有效提高分类器的性能.实验表明,该方法比传统方法具有更高的速度和精度.     

基于最大散度差判别分析的一种目标识别方法

针对线性判别分析(LDA)在多类高维小样本模式的分类中存在的“小样本问题”和“次优性问题”,提出了一种基于最大散度差判别准则的监督维数约简方法.首先,构造类内和类间离散度函数；然后采用最大散度差判别准则设计最佳判别目标函数,得到映射矩阵和提取分类特征.该方法省略了求解逆矩阵过程,从而避免了传统的DA存在的小样本问题;最后,在真实飞机图像数据库上的识别实验结果验证了该算法的有效性.     

基于模糊核聚类的SVM多类分类方法

针对SVM在大类别模式分类中存在的问题,提出了一种基于模糊核聚类的SVM多类分类方法,并给出了一种高效的半模糊核聚类算法。该方法基于模糊核聚类方法生成模糊类,并采用树结构将多个SVM组合起来实现多类分类。模糊核聚类方法不但能够实现更为准确的聚类,而且能够挖掘模糊类的外围、不同模糊类之间的交叠情况等信息,利用这些信息能有效提高分类器的性能。实验表明,所提方法比传统方法具有更高的速度和精度。     

面向多类别分类问题的子抽样主动学习方法

由于传统主动学习方法的计算量随着问题规模的增大呈指数增长,因此很难应用于大规模多类数据分类任务中.为解决该问题,设计了一种基于子抽样的主动学习(subsampling-based active learning,SBAL)算法.该算法将无监督聚类算法与传统主动学习方法整合,在二者之间增加了子抽样操作,该操作能够显著降低...     

基于数据分割和集成学习的大规模SVM分类算法

支持向量机对分类问题的求解过程相当于解一个线性约束的二次规划问题,求解的变量个数与训练样本数相等,且需要计算和存储的核矩阵大小与训练样本数的平方相关.随着样本数目的增多,经典的求解二次规划问题的算法不再适用.针对大规模二分类问题,基于数据分割和集成学习策略,本文提出了一种快速支持向量机学习算法.其主要思想是:首先对数据集进行预处理,自动将正负类分别聚成若干子簇;然后对两两组合的正负子簇用SMO算法进行交叉学习,得到多个基本分类器;最后对这些基本分类器进行集成学习.在UCI的5个数据集上的实验表明,与SMO学习算法相比,这种基于数据分割的训练策略在精度几乎没有损失的情况下显著地提高了训练速度.     

基于可行域解析中心的股指时间序列预测

预测股票涨跌情况,并提出了一种新的时间序列预测方法,该方法将时间序列预测问题转化为多类分类问题.同时在分析现有多类分类机器不足的基础上,提出了一种基于可行域解析中心的多类分类器.通过上证股指序列的实证分析表明,提出的方法及多类分类器是有效的且有很强的实用性.     

基于特征子空间与流形正则化的高效增量半监督特征选择方法

基于Fisher Score的前向序列选择法是目前性能良好并广泛使用的一种有监督特征选择方法.然而，该方法只能对有标签样本进行分析，无法利用大量"廉价"的无标签样本信息；并且随着已选特征的个数的增加，对候选特征进行评分的计算复杂度呈三次方形式增加.针对这两个问题，提出基于特征子空间与流形正则化的高效增量半监督特征选择方法.一方面，该方法通过提取有标签与无标签数据的局部线性表示来进行半监督特征选择，使得所选特征能够保持数据的局部流形结构信息；另一方面，该方法基于特征子空间理论进行特征评分，时间复杂度取决于特征空间的维数而非已选特征的个数，如果特征空间的维数是固定的，该方法将花费几乎恒定的时间来评价每一个候选特征.相比于基于Fisher Score的前向序列选择法选择特征的三次方复杂度，所提方法在时间效率方面得到很大提升.在五个标准数据集上进行了实验，所得结果验证了该方法的有效性.     

基于不完全BT-SVMs分类的模拟电路故障诊断方法

针对几种常用的支持向量机多类分类方法,分析了各自存在的问题和缺点,并在此基础上提出了一种基于核的自组织映射聚类的不完全二叉树SVMs多类分类方法,该方法首先用SOM神经网络对所有训练样本进行聚类,分裂成两个子类,然后分别对两个子类进行类似的操作,直到每个类别都被单独分开为止。根据聚类的结果构造二叉树结构,从而产生相对应的SVMs网络。实验结果表明,采用该方法进行多类分类具有很高的分类精度和分类速度。     

Text classification toward a scientific forum

Text mining, also known as discovering knowledge from the text, which has emerged as a possible solution for the current information explosion, refers to the process of extracting non-trivial and useful patterns from unstructured text. Among the general tasks of text mining such as text clustering, summarization, etc, text classification is a subtask of intelligent information processing, which employs unsupervised learning to construct a classifier from training text by which to predict the class of unlabeled text. Because of its simplicity and objectivity in performance evaluation, text classification was usually used as a standard tool to determine the advantage or weakness of a text processing method, such as text representation, text feature selection, etc. In this paper, text classification is carried out to classify the Web documents collected from XSSC Website （http：//www.xssc.ac.cn）. The performance of support vector machine （SVM） and back propagation neural network （BPNN） is compared on this task. Specifically, binary text classification and multi-class text classification were conducted on the XSSC documents. Moreover, the classification results of both methods are combined to improve the accuracy of classification. An experiment is conducted to show that BPNN can compete with SVM in binary text classification; but for multi-class text classification, SVM performs much better. Furthermore, the classification is improved in both binary and multi-class with the combined method.     

基于信号特征空间的TDCS干扰分类识别

针对变换域通信系统中干扰信号的分类识别问题,提出了一种基于信号特征空间的支持向量机(signal feature space-support vector machine, SF-SVM)干扰分类算法。首先,基于干扰信号模型和信号空间理论对干扰信号进行特征提取,并建立信号特征空间,进而针对二分类和多分类问题提出了SF-SVM分类算法,设计了干扰信号的多分类识别器。仿真结果表明,与干扰信号的传统分类算法相比,SF-SVM不仅提高了分类精度,而且缩短了训练时间;设计的多分类识别器在信噪比达到8dB时,对6种干扰信号识别性能及对变换域通信系统性能都有所提升。     

一种基于Boosting的集成学习算法在不均衡数据中的分类

针对多类别不均衡数据的分类问题,从数据集的特征选择和集成学习两个角度出发,提出了一种新的针对不均衡数据的分类方法—BPSO-Adaboost-KNN算法,算法采用基于多分类问题的可视化的AUCarea作为分类评价指标.为了测试算法的性能,本文选取了10组UCI和KEEL选取的测试数据集进行测试,结果表明本算法在有效提取关键特征后提高了Adaboost的稳定性,在十组数据的分类精度上相比单纯使用KNN分类器有20%~40%不等的提高.在本算法和其他state-of-the-art集成分类算法对比中,BPSO-Adaboost-KNN能够取得较优或相当的结果.最后,本文将该算法应用到石油储层含油性的识别中,成功提取了声波、孔隙度和含油饱和度三个关键属性,在分类精度上相比传统分类算法有了大幅度提高,在江汉油田五口油井oilsk81~oilsk85上的分类精度均达到98%以上,比单纯使用KNN的精度高出了20%,尤其在最易错分的油层和差油层中有良好的分类效果.     

代价敏感的客户流失预测半监督集成模型研究

客户流失预测是企业客户关系管理的重要内容.在现实的很多客户流失预测建模过程中,由于数据类别的高度不平衡现象的存在,使得模型的分类性能低下,不能很好地进行分类预测.同时由于现实情况中只有少量有类别标签的样本,更多的是无类别标签数据的存在,造成了大量有用信息的浪费.为了解决以上两个问题,本研究将元代价敏感学习,半监督学习和Bagging集成等技术结合,提出了代价敏感的客户流失预测半监督集成模型(semi-supervised ensemble based on metacost,SSEM).该模型主要包括三个阶段:1)用Metacost方法修改初始有标签训练集L的类别标签,得到新的训练集Lm,并将其随机的分为模型训练集Ltr和模型验证集Va;2)使用Va挑选分类精度最高的三个基分类器,并用其选择性标记无类别标签U中的样本,并将它们添加到Ltr中;3)用新的模型训练集Ltr训练N个基本分类模型,并对测试集样本进行分类,进一步将分类结果进行集成.在两个客户流失预测数据集上进行实证分析,将SSEM模型与常用的监督式集成模型以及半监督式集成模型相比,结果表明,SSEM具有更好的客户流失预测性能.     

一种基于模型共享的半监督多标签图像学习法

提出一种快速且有效的半监督多标签学习方法:模型共享半监督推举。该方法能发现、共享并组合多个基模型,每个基模型是在某个标签上利用半监督支持向量机(S3VM)上学习的。通过使用模型共享,标签关联被显示地利用且对于每个标签来说只需要少量的基模型即可生成最后的决策结果。在Corel5k和Mediamill数据集上评估方法,实验结果显示的方法与当前流行的监督和半监督多标签学习方法是可比的。     

基于新型空间注意力机制和迁移学习的垃圾图像分类算法

随着我国各级政府大力推动垃圾强制分类,分类回收各环节中实现标准化、自动化的垃圾分类识别需要适合云端部署的高准确率、低延时要求的细粒度图像分类模型.本文发挥深度迁移学习的优势建立了一套端到端的迁移学习网络架构GANet (garbage neural network);针对垃圾分类中类别易混淆、背景干扰等挑战,提出一种新型的像素级空间注意力机制PSATT (pixel-level spatial attention).为克服类别多和样本不平衡挑战,提出使用标签平滑正则化损失函数;为改善收敛速度以及模型稳定性与泛化性,提出了阶梯形OneCycle学习率控制方法,并给出了结合Rectified Adam (RAdam)优化方法和权重平滑处理技术的组合使用策略.实验使用了"华为云人工智能大赛.垃圾分类挑战杯"提供的按照深圳市垃圾分类标准标注的训练数据,验证了GANet在垃圾分类问题中的显著效果,获得了全国二等奖(第2名);同时,提出的PSATT机制优于对比方法,且在不同主干网络架构上均得到了提升,具有良好的通用性.本文提出的GANet架构、PSATT机制和训练策略不仅具有重要的工程参考价值,也具有较好的学术价值.     

基于改进半监督朴素贝叶斯的LPI雷达信号识别

针对先验信息残缺的非合作电子对抗背景下的低截获概率雷达信号识别问题,提出一种基于改进的半监督朴素贝叶斯的识别算法。该算法首先提取出4种低截获概率(low probability of intercept,LPI)雷达信号的双谱对角切片作为识别特征;针对传统的半监督朴素贝叶斯(semi-supervised Naive Bayes,SNB)在更新训练样本集过程中会产生迭代错误的不足,利用改进的SNB(Revised SNB, RSNB)算法构建分类器,完成对测试样本的识别。该方法通过在无标记样本集生成的置信度列表中选取置信度较高的样本添加到有标记样本集中,再利用预测后的分类结果对分类器参数(即特征期望向量m i和方差向量σ i)进行改进,有效解决了传统算法分类精度低且分类性能不稳定等缺点。理论分析和仿真结果表明,在LPI雷达信号识别问题,相比于SNB算法和传统的主成分分析加支持向量机法(principal component analysis-support vector machine, PCA-SVM),该算法具有更高的分类识别率和更好的分类性能。