基于结果修剪法解决文本分类中属性重叠问题

在文本分类中,当两个多属性类别发生属性重叠时,采用传统的文本分类算法m acro F1值仅为45%左右.为了提高文本分类算法的m acro F1值,提出了基于结果修剪的方法.在该方法中,分类器由多个子分类器组成.每个子分类器对应于类别中的一个属性;在每一个阶段中,每一个子分类器将不属于该属性的文本剔出.当所有子分类器运行结束后,留下的文本即属于该分类的文本.实验数据表明,基于结果修剪的文本分类方法在解决属性重叠问题时能够将m acro F1值提高到65%左右.     

上下文广告中的一种文本分类方法

针对文本分类中的交叉类别问题,提出一种基于传统潜在语义分析方法的新算法NLSA(new latentsemantic analysis)对网页进行文本分类.该方法可以将相关但是不同类别中的标签和非标签数据统一在一个概率模型中,通过研究两个类别的共有主题,在不同类别中转换知识来帮助目标文本进行分类.该方法可以最大化利用原有标签数据对新文本进行分类.实验证明:该算法能够显著提高交叉类别的文本分类性能,比传统的文本分类器有更好的性能.     

基于概率模型LVQ的改进KNN分类新方法

KNN是基于实例的算法,对于大规模样本算法分类性能不高.针对这一缺点,提出一种基于概率模型的学习矢量量化神经网络的改进KNN分类新方法.考虑到最优参考点训练的重要性,结合概率方法得到最佳参考点的判断准则函数,采用梯度下降最优化算法利用LVQ训练参考点的最佳位置.在对未知样本进行分类时选出样本x的K个近邻,采用"投票选举"机制最后判断样本x的所属类别.新方法减少KNN的计算复杂度和时间,弥补了KNN在处理大规模数据问题上的不足.在UCI中数据集上的仿真实验表明改进算法的可行性.     

最大判别特征选择算法在文本分类的优化研究

采用朴素贝叶斯分类器进行文本分类时,特征选择方法的好坏直接影响到分类器的性能.本文提出一种最大判别(MD)特征选择算法,由训练得到N个类的概率分布后,通过对样本进行测试并得到其特征向量d中每个特征词区分类别的能力,并构造出了一个新的特征向量ε用于分类,使得从中选取的部分特征词具有最大的类别区分能力.仿真结果表明,与cMFD,CSFS和CMFS三种特征选择算法相比,MD特征选择算法能在选取较少特征词情况下,获得更高的分类精度.     

基于样本重要性原理的KNN文本分类算法

KNN是重要数据挖掘算法之一,具有良好的文本分类性能.传统的KNN方法对所有样本权重看作相同,而忽略了不同样本对于分类贡献的不同.为了解决该个问题,提出了一种样本重要性原理,并在此基础上构造KNN分类器.应用随机游走算法识别类边界点,并计算出每个样本点的边界值,生成每个样本点的重要性得分,将样本重要性与KNN方法融合形成一种新的分类模型——SI-KNN.在中英文文本语料上的实验表明:改进的SI-KNN分类模型相比于传统的KNN方法有一定的提高.     

人工鱼群优化的维吾尔文文本特征选择方法

特征选择是文本分类中的关键步骤,对分类结果产生直接的影响。本文分析了人工鱼群算法的觅食行为、群聚行为和追尾行为等基本原理。结合维吾尔文文本特征提取原理,提出了一种改进的人工鱼群算法,并将其运用到维吾尔文文本特征提取当中。为了加快鱼群的收敛速度,引入了主动改变视野的策略,同时,为了避免算法陷入局部最优,还在算法中加入了变异策略。将特征选择后的样本集输入到不同的分类器中进行仿真实验。实验结果表明:改进的人工鱼群算法能够使分类的准确率达到94.5%。     

文本分类中一种改进的特征项权重计算方法

TF-IDF方法是文本向量化过程中一种常用的特征项权重计算方法,衡量的是特征项在整个文档集中的重要性.针对文本分类过程中TF-IDF方法未能体现特征项对类别的区分能力和对类别的代表性问题,基于文档类别,结合特征项的类间区分度和类内贡献度,提出一种改进的TF-IDF权重计算方法,并采用KNN和SVM模型对改进后算法的分类性能进行了验证.实验结果表明,与传统的TF-IDF方法相比,改进后的权重计算方法不仅在整个测试数据集上能够取得较高的宏平均精确率、宏平均召回率和宏平均F1,而且使测试数据集绝大部分类别的分类性能得到了较大提升.因此,改进后的TF-IDF权重计算方法是有效且可行的.     

改进的两阶段协作稀疏表示分类器

稀疏表示的分类器(Sparse Representation-based Classifier,SRC)利用全部的训练集进行训练来得到一个完备基,这使其时间复杂度增长,同时,稀疏表示算法过分强调稀疏项对于分类的作用而忽略了类别之间的协作稀疏表示对于分类的影响。针对这个问题,本文在徐勇等人提出的TPTSR(Two-Phase Test Sample Sparse Representation)算法的基础上提出了一种改进算法,即改进的两阶段协作稀疏表示分类器(Improved Two-Phase Collaborative Sparse Representation Classifier,ITPCSRC),该算法尝试通过寻找一个具有与测试样本关联性最大而且又满足SRC关于训练样本基本假设的完备基来对测试样本进行协作的稀疏表示。本方法在ORL人脸库、Yale人脸库和AR人脸库上进行实验,并与目前最新的基于稀疏表示改进的分类器算法相比,ITPCSRC算法识别率得到了显著提高。     

基于迭代式RELIEF和相关向量机的黄瓜图像识别方法

针对目前采摘机器人在图像处理实时性以及识别准确率方面的要求,提出一种基于迭代式RELIEF(I-RELIEF)的相关向量机的算法.该算法首先通过将获取到的样本像素信息输入到I-RELIEF的模块中,计算出样本信息中各特征在分类过程中的权值,即各特征对类别的影响程度;然后将带权值的样本信息输入到相关向量机的算法模块中进行训练后得到像素分类器;最后用得到的分类器去预测未知像素来对像素进行分类,实现对黄瓜果实图像的分割.实验结果表明,这种图像像素分类器对于温室条件下的黄瓜像素的识别率达到80%以上,误识率不到27%,两者的比值达到3.0以上.     

基于局部敏感哈希的K邻近算法识别垃圾短信

针对目前垃圾短信的识别算法存在的关键字及频次的规则死板,易于被不法分子探测和规避等问题,提出将局部敏感哈希的K邻近算法应用于垃圾短信分类识别;首先定义特征,然后采用局部敏感哈希算法计算向量距离,通过得到的距离衡量矩阵的相似性,量化矩阵相似程度,对本文中提出的优化模型进行实现和训练;基于短信文本内容,运用词频-逆向文本频率算法生成矩阵,利用局部敏感哈希算法求解最相似样本,记录样本类别,将训练结果导入K邻近算法分类器得到最优近邻,在测试集或验证集上对优化模型垃圾短信分类识别准确率进行评测。结果表明,经过K邻近算法分类器后,优化模型垃圾短信分类识别准确率达到98.7%。     

一种基于距离比值的支持向量机增量训练算法

由于支持向量机具有较好地学习性能和泛化能力,目前已经得到了广泛的应用。如何使支持向量机进行有效的增量学习是目前支持向量机应用中需要解决的问题。深入研究了支持向量分布特点,提出了一种新的支持向量机增量训练淘汰机制——距离比值算法。该算法根据遗忘规则,设定一个合适的参数,按距离比值法中的定义计算各个样本中心距离与其到最优分类面距离的比值,舍弃对后续训练影响不大的样本,即可对训练数据进行有效的淘汰。对标准数据集的实验结果表明,使用该方法进行增量训练在保证分类精度的同时,能有效地提高训练速度。     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法。支持向量机在选择支撑矢量时却进行了大量不必要的运算, 成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的。投影中心距离算法是一种能够预选取支撑矢量的方法, 该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度。本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性。     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法.支持向量机在选择支撑矢量时却进行了大量不必要的运算,成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的.投影中心距离算法是一种能够预选取支撑矢量的方法,该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度.本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性.     

一种新的动态SVM选择集成算法

针对动态选择集成算法存在当局部分类器无法对待测样本正确分类时避免错分的问题,提出基于差异聚类的动态SVM选择集成算法。算法首先对训练样本实施聚类,对于每个聚类,算法根据精度及差异度选择合适的分类器进行集成,并根据这些分类器集成结果为每个聚类标定错分样本区,同时额外为之设计一组分类器集合。在测试过程中,根据待测样本所属子聚类及在子聚类中离错分样本区的远近,选择合适的分类器集合为之分类,尽最大可能的减少由上一问题所带来的盲区。在UCI数据集上与Bagging-SVM算法及文献［10］所提算法比较,使用该算法在保证测试速度的同时,能有效提高分类精度。     

基于滑动窗口的优化贝叶斯邮件过滤算法

贝叶斯算法在文本分类时需要进行特征提取，传统特征提取算法存在特征提取不够准确，进而导致分类效率不高。为解决此问题，提出一种基于滑动窗口的特征选取方法,该方法能扩大特征的选取范围。实验表明，改进后的方法可以有效地提高文本的分类精度     

一种基于粗糙集的改进KNN文本分类算法

K最近邻算法（KNN）被认为是向量空间模型下最好的分类算法之一,在准确率和召回率方面比较出众,但随着样本数量的增加其相似度计算开销很大。本文提出一种改进算法RS-KNN,主要是利用粗糙集的相关理论,计算训练样本集中各样本子类的上近似空间和下近似空间,根据待分类文本出现在不同的近似空间,以缩减与待分类样本计算相似度的训练样本个数。实验表明此算法能够有效地降低分类计算开销。     

基于DBSCAN聚类的改进KNN文本分类算法

K最近邻算法(KNN)在分类时,需要计算待分类样本与训练样本集中每个样本之间的相似度.当训练样本过多时,计算代价大,分类效率降低.因此,提出一种基于DBSCAN聚类的改进算法.利用DBSCAN聚类消除训练样本的噪声数据.同时,对于核心样本集中的样本,根据其样本相似度阈值和密度进行样本裁剪,以缩减与待分类样本计算相似度的训练样本个数.实验表明此算法能够在保持基本分类能力不变的情况下,有效地降低分类计算量.     

基于改进K最近邻算法的中文文本分类

针对文本分类存在的高维文本问题,提出文档频率(DF)-卡方统计量特征提取方式,对特征项进行有效约减,降低文本维度,提高分类精度.在K最近邻(KNN)算法的基础上,针对待分类文本需要和大量训练集样本进行相似度计算的问题,提出一种基于分组中心向量的KNN算法,对类别内的样本集分组求出各组中心向量,使其重新代表训练库计算相似度,降低计算复杂度,提升算法的分类性能.通过实验表明:相较传统KNN算法,改进的算法在准确率、召回率及F值方面都有提升,与其他分类算法相比,具有一定的优势.     

Novel method of mining classification information for SVM training

Support vector machine(SVM) is an important classification tool in the pattern recognition and machine learning community,but its training is a time-consuming process.To deal with this problem,we propose a novel method to mine the useful information about classification hidden in the training sample for improving the training algorithm,and every training point is assigned to a value that represents the classification information,respectively,where training points with the higher values are chosen as candidate support vectors for SVM training.The classification information value for a training point is computed based on the classification accuracy of an appropriate hyperplane for the training sample,where the hyperplane goes through the mapped target of the training point in feature space defined by a kernel function.Experimental results on various benchmark datasets show the effectiveness of our algorithm.     

优化支持向量机核参数的核矩阵方法研究

参数选取问题一直是支持向量机研究的热点.虽然核校准(KTA)方法广泛应用于支持向量机参数优化问题中,但是它仍存在不足.以核矩阵为研究出发点,深入分析了采用核校准方法优化核参数对分类性能的影响,然后综合核校准方法和特征空间中样本集的分布提出了一种核校准改进方法.对比实验表明该算法是有效可行的.