基于信息增益的中文网页SVM分类研究

针对中文网页文本分类中特征降维方法和传统信息增益方法的缺陷和不足做出优化改进,旨在有效提高文本分类效率和精度.首先,采取词性过滤和同义词归并处理对特征项进行初次特征降维,然后提出改进的信息增益方法对特征项进行特征加权运算,最后采用支持向量机(SVM)分类算法对中文网页进行文本分类.理论分析和实验结果都表明本方法比传统方法具有更好的性能和分类效果.     

一种改进的特征选择方法在文本分类系统中的应用

在介绍文本分类的背景及传统基于向量空间模型特征选择不足之处的同时,提出了不同特征选择方法相结合的文本分类模型.该模型首先对文本进行分析,把文本表示成向量空间的形式.文本在经过预处理后,按一定规则提取关键词的提取中增加了对名词短语的识别.特征选择的方法上,结合了文档频数和互信息量,并对他们进行了改进.实验结果表明,使用新方法进行分类所得到的分类精度得到了一定的提高.关键词,     

改进量子粒子群优化支持向量机的网页分类

随着海量网页信息的出现,网页分类已经成为数据挖掘领域的一个重要研究方向,网页分类是一种快速有效利用海量网页信息的重要技术.为了克服支持向量机进行网页分类时存在训练收敛较慢和分类精度不高的缺点,将改进的量子粒子群优化算法与支持向量机相结合,提出了一种融合改进量子粒子群算法和支持向量机的网页分类方法.首先引入柯西分布改进量子粒子群优化算法,其次利用改进的量子粒子群算法优化支持向量机的参数选择,然后利用支持向量机进行网页分类.实验结果表明,该方法具有较高的准确率、召回率和F1测试值,网页分类效率也得到了一定程度的提高.     

网页分类技术

网页分类是使用机器学习的方法实现网页类别的自动标注.回顾了文本分类技术的研究状况,分析了网页的结构特征,难点在于结合网页的结构信息选择合理的表示方式和分类算法.使用纯文本分类技术处理网页是不合理的.基于概率模型的方法和关系学习方法计算量大,关系学习方法学习结果的可解释性好,支持向量机方法分类准确率高,但核函数的构造和大规模数据集的训练都是该算法的难题.应该采用多种指标对网页分类算法进行评价.     

基于改进信息增益特征选择法的SVM中文情感分类算法

为文本情感分类提出一种改进的机器学习算法。在分析当前主要文本特征选择方法后,把词频和词语情感表现程度融入到信息增益特征选择方法中,从全局和局部2个方面进行特征权重衡量,使用特征空间向量模型对文本进行统一表示,然后利用SVM算法进行训练学习。通过实验发现该算法的查准率和查全率比传统的机器学习算法有所提高,并且得到的分类器具有较好的泛化能力。     

基于分块的网页主题信息自动提取算法

对互联网上大量存在的基于模板的网页,根据其半结构化的特点,提出了一种网页分块和主题信息自动提取算法.该算法利用网页标记对网页进行分块,改进了传统的文本特征选择方法,把网页块表示成特征向量,并根据有序标记集识别主题内容块.用该算法改进了网页分类的预处理过程,提高了分类的速度和准确性.实验表明,对网页进行主题信息提取后再进行分类,可以提高分类系统的查全率和查准率.     

SVM网页分类中一种新的特征提取方法

随着互联网的迅速发展,对网页正确分类显得越来越重要。网页分类的一个难点就是特征空间的维数比较大,支持向量机(SVM)分类方法显示出比其它分类方法更好的性能,但是训练样本时却花费了比其它算法更多的时间。本文提出了一种基于选择最确信的词来预测一个文本的类别的特征提取方法,通过中文文本实验,结果表明在不降低分类准确性的前提下,缩短了训练时间。     

应用特征聚合进行中文文本分类的改进KNN算法

针对以KNN为代表的VSM模型存在的向量各特征项孤立处理问题 ,提出了一种应用特征聚合方式的改进算法·该算法通过CHI概率统计计算文本特征词对分类的贡献 ,将对分类有相同贡献的文本特征词聚合 ,使用它们共同的分类贡献模式代替传统算法中单个词对应向量一维的方式·该算法提高了稀有词对分类的贡献、强化了关联词的分类效果、并降低了文本向量的维数·与传统KNN算法进行的对比实验证明 ,该算法明显提高了分类的准确率和召回率     

基于Vague集的Web内容安全文本分类

随着网络普及应用,Web内容安全问题已经引起人们的高度重视,对Web内容安全的分类监控已成为研究热点。在分析Web内容安全问题的基础上,提出一种"需求模型",该模型结合向量空间模型(VSM),利用Vague集改进的特征提取策略,扩充原有文档特征表示模型。通过对来自真实网络网页中等规模的语料实验证明,这种"需求模型"可以提高网页内容安全的文本分类效果,分类效果优于采用传统特征的方法。     

基于序列数据挖掘的中文网页特征选择方法

提出了一种基于序列数据挖掘的中文网页候选特征的选择方法，并用于中文网页分类模型. 该方法运用改进的PAT树结构挖掘频繁出现在同一类中文网页中的字符串，通过净频率计算，挖掘出中文网页中频繁出现的有意义的词、短语、英文单词等，并结合CHI算法得到文本特征. 实验表明，该算法不仅能挖掘出传统方法所选择出的绝大部分特征，还能挖掘出一些有意义的、切词系统词库中没有的、能反映分类特点的人名，地名，新词、常用语、外文单词等.     

网页文本分类中的特征选择研究

由于超链接语言结构本身所提供的信息,网页分类问题不同于一般的文本分类。本文分析了网页内部特征,并在1000篇网页规模语料库的基础上,通过试验对比了三种特征选择方法对高维特征向量空间进行降维的效果。文章还提出了一种新方法,根据特征项所处的位置赋予不同权重的方法,实验表明这种由文本结构导出的权重计算方法能够取得很好的分类效果。     

基于Hyperlink聚类的网页分类研究

研究并提出了基于Hyperlink聚类的分类算法，它不需要分析Web文档内容，只根据Web图来聚类，算法性能比传统文本分类方法有很大提高，大大增强了网页分类的能力和效率，适合于海量网页分类，实验表明基于Hyperlink聚类的分类算法，应用于Web文档信息分类，比传统的文本分类方法更加有效。     

利用分块重要度进行中文网页分类的研究

由于网页中存在着许多“噪声”信息，所以相对于传统的纯文本分类来说，中文主题网页分类是一项更为困难的工作. 但网页可以划分成不同的块，对分类 而言每个块的重要度是不同的，可以利用分块的重要度提高网页分类的质量.介绍了几种流行的网页分块技术，并通过实验验证了基于分块重要度的主题网页分类法的分类质量优于传统的主题网页分类法.     

基于事实和语义一致性的生成文本检测

文本生成技术的恶意滥用问题日益严重,因此生成文本检测技术至关重要. 现有的检测方法依赖于基于特定数据集的统计异常特征,从而导致方法的泛化能力较差. 本文考虑不同种类生成文本均易出现的事实错误、语义冲突问题,提出了一种基于事实和语义一致性的生成文本检测方法. 该方法通过实体将文本和外部知识库进行比较,得到文本的事实一致性特征. 另一方面,该方法借助文本蕴含技术对文本上文与下文进行关系推理,得到文本的语义一致性特征. 最后将这两类特征与RoBERTa的输出隐藏向量拼接,输入到线性分类层进行预测. 实验结果表明,该方法比当前的检测方法具有更高的准确率和泛化能力.     

基于滑动窗口的优化贝叶斯邮件过滤算法

贝叶斯算法在文本分类时需要进行特征提取，传统特征提取算法存在特征提取不够准确，进而导致分类效率不高。为解决此问题，提出一种基于滑动窗口的特征选取方法，该方法能扩大特征的选取范围。实验表明，改进后的方法可以有效地提高文本的分类精度。     

BP神经元网络在Web文本分类中的应用

Web文本分类是Web文本挖掘的一项重要技术,它是一种基于主题分类的指导,能够使用户在快速地找到想要的资源和知识。文本分类过程中,首先采用向量空间模型对Web文本进行特征提取,然后将得到的数据集分成样本数据集和测试数据集,将样本数据集输入BP神经元网络进行分类,网络经过训练后,输入测试数据集进行验证。实验结果证明BP神经元网络在文本分类领域有着较好的实用价值。     

基于滑动窗口的优化贝叶斯邮件过滤算法

贝叶斯算法在文本分类时需要进行特征提取，传统特征提取算法存在特征提取不够准确，进而导致分类效率不高。为解决此问题，提出一种基于滑动窗口的特征选取方法,该方法能扩大特征的选取范围。实验表明，改进后的方法可以有效地提高文本的分类精度     

基于特定领域的Web文本信息获取系统的研究

从特定领域用户获取Web文本信息的实际应用角度出发,在分析了系统相关开发理论基础上,通过从内容和语义上指导Web信息的搜索,尝试设计了一个基于特定领域的Web文本信息获取系统模型,并从实现技术上提出了开发这个系统的体系结构,分析了各组成模块的主要特点及其功能。着重研究了该系统的几项关键技术:Robot技术、Web页面内容的分析和站点结构的分析技术、中文文本的分类问题,包括中文的分词、特征提取、特征匹配及权值计算等的综合应用技术。