通过特征权学习增强支持向量机的泛化能力

在分类问题中,支持向量机(SVM)首先将样本映入某一高维特征空间,并在此空间中构造具有最大间隔的分类超平面.由Vapnik的统计学习理论知道,SVM泛化能力的强弱与分类超平面间隔的大小有十分密切的关系:分类平面的间隔越大,SVM的泛化能力就越强.本文提出了一种通过特征权学习来增加分类超平面的间隔,从而增强SVM泛化能力的方法.仿真试验表明,该方法对提高SVM的泛化能力是有效的.     

ERPs信号特征提取及分类方法的研究

通过基于柯尔莫诺夫-斯米尔诺夫检验的自适应特征提取法,提取出对大脑ERPs信号分类具有可辨识性的特征信息.应用具有良好模式分类性能的SVM在提取的特征属性基础上构造分类器,对ERPs信号分类.实验表明:自适应特征提取法不仅能有效地提取出分类特征属性,还极大地降低了数据空间维数;自适应特征提取与SVM相结合的分类准确率达...     

基于机器学习的高血压病历文本分类

为了探讨中文病历文本预处理后高维稀疏性的特点,导致文本分类精度低、算法模型收敛速度慢等性能问题,提出一种基于粗糙集的词袋(BOW)模型结合支持向量机(SVM)的文本分类算法(BOW+SVM)。该算法首先采用BOW模型对特征词提取构建高维度文本空间向量,然后利用粗糙集的属性约简算法对文本特征处理,把模糊的、冗余的属性从决策规则中清除,降低空间向量维数,最后利用所提纯的特征与SVM分类器交叉结合进行文本分类。在Python+TensorFlow环境中设计六种交叉结合的算法仿真对比实验,结果表明:基于BOW+SVM高血压病历文本分类模型精准度可达97%。可见改进后的模型,能够解决样本分部不均,克服高维度稀疏特征空间的问题,有效改善病案管理工作流程。     

基于特征缺省的最小类内方差支持向量机

最近提出的基于特征缺失的支持向量机(support vector machine with absent features,AF-SVM)在处理具有特征缺失的数据分类时,得到的分类超平面不能很好地适应数据的总体分布,并存在两类误分的比例相差比较大的问题。为此,本文通过引入最小类内方差支持向量机(minimum class variance SVM, MCVSVM)分类机制,提出了基于特征缺失的最小类内方差支持向量机(minimum within-class variance SVM with absent features,AF-V-SVM)。AF-V-SVM一方面可以依据数据集的分布特性,改善分类超平面的方向性;另一方面,通过自由设置分类间隔的定义空间,调整误分的比例。实验表明,与其他基于特征缺省的分类方法相比,该方法不仅提高了分类正确率而且使分类效果更加合理。     

基于支持向量机算法的网站分类器构造方法

首先研究了基于向量空间模型的网站文本特征建模技术，同时根据实际网络的复杂程度和分类特点，采用支持向量机（support vector machine，SVM）来构造分类器。网站分类实验结果表明这种基于SVM的分类器具有模型简单、分类准确性较高等优点，具有较好的网站分类适用性。     

基于支持向量机的遥感图像分类研究

支持向量机(Support Vector Machine,SVM)是一种基于统计学习理论的新型机器学习算法.通过解算最优化问题,在高维特征空间中寻找最优分类超平面,从而解决复杂数据的分类及回归问题.将支持向量机理论应用到遥感图像分类的研究还处在初级阶段,传统分类算法应用于遥感图像分类存在运算速度慢、精度比较低和难以收敛等问题.从支持向量机基本理论出发,建立了一个基于支持向量机的遥感图像分类器.用遥感图像数据进行实验,并将结果与其它方法的结果进行了比较分析.实验结果表明,利用SVM进行遥感图像分类的精度明显优于神经网络算法和最大似然算法分类精度.     

基于碱基偏好分析和SVM的植物启动子识别

植物启动子识别是真核启动子识别中的重要研究领域.针对目前植物启动子识别算法的特异性较低的问题,提出了一种基于GC碱基偏好分析和支持向量机（SVM）的植物启动子识别算法.首先通过对GC含量的分析将DNA序列分类为GC偏好序列和非GC偏好序列,然后进行结构特征和信号特征的提取,最后通过SVM分类器进行启动子识别.SVM分类器由四个SVM子分类器组成,即启动子-3’UTR子分类器,启动子-5’UTR子分类器,启动子-Intergenics子分类器和启动子-CDS子分类器.实验结果表明,该算法比其他算法具有更高的特异性,对植物启动子识别具有积极意义.     

基于主动学习SVM分类器的视频分类

提出一种基于主动学习SVM分类器的视频分类算法.该算法分为两个步骤:首先分析并提取与视频类型有关的十维底层视觉特征;然后用SVM分类器建立这些底层特征与视频类型之间的联系.在获取SVM分类器所需的训练样本时,采用主动学习的方法选择对SVM分类器最"有用"的样本提供给用户进行标注,用更少的训练样本获得与大量训练样本近似的分类效果,从而减轻用户标注负担.针对多类SVM分类的主动学习问题,提出用后验概率计算分类器对未标注样本的置信度进行样本选择.实验结果表明,主动学习算法与随机采样标注的被动学习算法相比,在相同的训练样本情况下能够获得更高的分类精度;而基于后验概率选择样本的主动学习要略好于传统的基于变型空间(version space)选择样本的主动学习.     

一种基于深度学习的中文文本特征提取与分类方法

提出了一种基于卷积循环神经网络的文本特征提取方法,同时对比使用统计学中的TF-IDF以及Word2vec方法的文本特征表示,将提取的特征分别放入SVM与随机森林分类器中对来源于中国知网的中文学术论文数据集进行分类。实验结果表明,使用卷积神经网络和卷积循环神经网络特征提取模型提取的特征所取得的分类效果比TF-IDF、Word2vec特征提取方法得到的分类效果更好,同时使用SVM和随机森林分类器取得的分类效果略好于原生的神经网络。     

基于SVM的不同特征空间多分类方法研究

目前,在基于SVM的分解多分类方法中,各个子分类器都采用相同的核参数进行整体优化.如果采用不同的核函数参数分别优化各个子分类器,相当于在不同的特征空间进行分类,此时,能否直接采用求输出最大值(MaxWin)等判别策略,需要研究各分类器的输出是否可比.利用相对间隔对此问题进行深入的研究,说明在基于SVM的"一对多"等多分类方法中,采用不同的核参数分别优化各个子分类器,其决策函数的输出结果仍是可比的,且具有更好的泛化能力.     

基于特征相关的改进加权朴素贝叶斯分类算法

朴素贝叶斯分类算法的特征项间强独立性的假设在现实中是很难满足的.为了在一定程度上放松这一假设,提出了基于特征相关的改进加权朴素贝叶斯分类算法,该算法采用一种新的权重计算方法,这种权重计算方法是在传统词频反文档频率(TF-IDF)权重计算基础上,考虑到特征项在类内和类间的分布情况,另外还结合特征项间的相关度,调整权重计算值,加大最能代表所属类的特征项的权重,将它称之为TF-IDF-FC权重计算.与基于传统TF-IDF权重的加权朴素贝叶斯分类算法和其他常用加权朴素贝叶斯分类算法比较,如基于属性加权的朴素贝叶斯分类算法,这种算法的分类效果均有一定的提高.     

基于主题特征的Email分类研究

针对基于词语特征的Email分类综合性能（F-score）较低的问题,提出一种基于主题特征的Email分类方法.该方法利用领域知识及统计信息,从Email的词语特征空间中提取主题特征,并利用提取出的主题特征实现Email分类.通过对1080封Email进行分类测试,结果表明,由于主题特征能够更加准确地表达Email的主题思想,因此,与基于词语特征的分类方法相比,该方法在针对Email的全文及标题实现分类时,将平均F-score分别提高了13.16%和17.16%,从而使平均F-score提高到72.37%,基本可以满足实际应用的需求.     

基于图多层感知机的节点分类算法

多数图神经网络(Graph Neural Networks, GNN)通过设计复杂的节点信息传递和聚合方式,以提升节点分类等图分析任务的实验表现,而本文提出了一种无需信息传递和聚合的图多层感知机(Multi-Layer Perceptron, MLP)模型A&T-MLP,利用属性和拓扑信息引导的对比损失来增强模型表征能力。A&T-MLP首先使用属性矩阵和邻接矩阵计算节点间的属性和拓扑相似度;然后使用基于相似度信息引导的对比损失,增大特征空间中相似节点的一致性和不相似节点的差异性;最后构建多层感知机模型并引入交叉熵损失进行端到端训练。在节点分类任务中,A&T-MLP表现优于基线模型,Wikipedia数据集上的Micro-F1和Macro-F1相较GNN模型图卷积网络(Graph Convolutional Network, GCN)提升了15.86%和13.64%。实验结果表明,A&T-MLP能够通过对比损失保留丰富原始图的信息,提升模型性能。此外,A&T-MLP在处理拓扑信息不准确的图数据时具有较为明显的优势,即使在缺失80%拓扑信息的极端情况...     

元学习策略及性能评价

为提高分类系统的性能,提出一种统一多种元学习算法的元学习框架,定义并描述了并行和串行两种组合方式.由基分类器的分类结果构成新属性,并加入到特征向量中以形成元数据.通过扩展特征向量,元学习增强了对假设空间的表达能力,降低了系统的偏差.在加州大学提供的标准数据集上对元学习策略进行了实验研究,结果表明:与多数投票、最大规则、最小规则等融合方法实现的多分类器系统相比,并行和串行组合在所用数据集上的平均分类错误率可分别降低39.12%和40.56%,且在n分交叉验证中n值的增加并不能改进分类性能,串行组合中的基分类器的顺序对分类错误率没有显著影响.     

基于最小最大概率机的虹膜图像分类方法研究

为了提高虹膜图像分类的准确性和稳定性，提出了一种基于最小最大概率机的虹膜图像分类方法．该方法通过控制错分概率实现分类的最大化，将一般的二维分类问题扩展到虹膜特征的多维空间，并利用最小最大概率机的高维映射泛化特性，实现了不同核函数下的虹膜图像多维分类问题，具有分类准确率高、稳定性好的特点．通过虹膜图像库的实验验证表明，该方法在保持分类稳定性的同时，获得了径向基核函数高达98．55％的分类率，该分类率比最近特征线方法和相异度函数方法的分类率分别提高了4．47％和6．41％．     

特征空间中的边缘检测及样本选择

将子空间分类法拓展到特征空间后，与核主成分分析结合提出了一种边缘检测的方法及其训练样本选择策略。是基于特征空间中的核方法，对图像特征表达建立了统一的模型，可处理非高斯分布的数据。可与经典的边缘检测算子或其他方法相结合，增强边缘检测的效果和稳定性。只需训练一次，便可将边缘特征从一幅与训练图完全不同的测试图中提取出来。实验结果表明，对噪声有很好的鲁棒性，能很好地适应小样本训练，其边缘检测的效果明显比经典算子，主成分分析，非线性主成分分析的效果好。     

一种基于ICA的特征Bagging支持向量机集成方法

为提高支持向量机集成的泛化性能,提出一种基于独立成分分析法的特征Bagging支持向量机集成方法,删除了冗余特征.该方法从得到的独立成分特征空间中提取特征子空间,避免了直接从原特征空间中随机选择特征子空间而导致的对特征依赖或相关性的破坏,提高了个体支持向量机的性能,保证了个体支持向量机之间的差异度.在UCI和Stat-Log数据集合上的仿真实验表明,该方法具有更好的泛化性能.     

网页文本分类中的特征选择研究

由于超链接语言结构本身所提供的信息,网页分类问题不同于一般的文本分类。本文分析了网页内部特征,并在1000篇网页规模语料库的基础上,通过试验对比了三种特征选择方法对高维特征向量空间进行降维的效果。文章还提出了一种新方法,根据特征项所处的位置赋予不同权重的方法,实验表明这种由文本结构导出的权重计算方法能够取得很好的分类效果。     

传感器网络时间序列数据的事件分类研究

目前智能环境中传感器网络所采集的海量数据面临着进行有效事件的模式分类及异常检测的难题.为了有效对智能环境中传感器网络采集的时间序列数据所表征的事件进行分类,提出了基于协方差特征空间映射数据的聚类分析方法.通过对采集得到的时间序列数据按时隙进行划分,映射到协方差特征空间,然后对映射后的数据进行了动态密度聚类,从而实现对事件的分类;并根据聚类结果建立分类模板,作为对日常事件进行分类划分的检测方法,同时利用所得的分类模板,实现对异常事件的检测.实验结果表明,基于协方差特征空间映射数据的聚类分析方法能有效对传感器网络采集的时间序列数据所表征的事件进行分类,并能有效提升异常事件的检测及筛选效果.     

一种Web文档在线自适应分类新方法

Web文档自动分类是Web挖掘中的重要研究内容。文档向量空间模型(VSM)是实现文档自动分类的基础，但如何排除冗余属性并降低向量空间的维数是一个难点。文中运用粗集理论对由样本文档集合构成的信息系统进行数据泛化，并求取文档的最优规约属性集，大大降低了文档的特征空间的维数，减少了冗余属性对文档分类的干扰，提高了分类效率。运用Fuzzy ARTMAP(adaptive resonance theory mapping)神经网络，利用其自适应分类和增量学习的优良特性，实现了对Web文档的在线自适应分类。