基于短文本扩展和特征融合的市民热线文本分类

针对市民热线多为短文本和特征稀疏的特点。提出了一种短文本扩展法和基于双通道特征融合的文本分类（BERT-BiGRU-TextCNN,BGTC）模型,实现了对市民热线文本的自动识别与归类。首先使用TF-IWF模型以及LDA主题模型构建核心词库;然后利用Word2Vec计算词语相似度,完成对短文本内容和词向量特征的扩展;最终通过融合BERT-TextCNN和BERT-BiGRU-Attention两个通道特征信息的BGTC模型实现了对扩展后文本的分类。经过多组对比实验,结果表明该方法在市民热线文本分类任务中具有更好的性能,准确率和F1值分别达到了85.6%和85.8%。     

基于WT-BTC特征和SVM组合分类的场景文本检测算法

针对自然场景文本检测在复杂背景下虚警高的问题,提出利用小波变换(wavelet transform,WT)和方块编码算法(block truncation coding,BTC)相结合的方式(WT-BTC)表征文本纹理,并结合支持向量机(support vector machine,SVM)完成对候选文本区域的分类确认。算法首先利用边缘检测和启发式规则快速确定候选文本区域;然后对候选文本区域进行小波分解和BTC编码,提取水平、垂直、对角方向的WT-BTC纹理特征;使用三个SVM分类器分别对不同方向纹理特征学习训练,组合SVM模型实现候选文本区域的二次检测,确认文本区域。实验结果表明算法提高了文本区域检测鲁棒性,在复杂背景条件下对场景文本有较好的检测效果。     

基于半监督学习的短文本分类方法

随着万维网的快速普及和发展,Web上出现了大量短文本,如科技文献摘要、微博和电子邮件等.短文本内容短小,相互联系,已标注数据获得困难,导致传统分类方法很难取得较高的分类精度.为了解决短文本分类问题,提出了一种基于半监督学习的迭代分类算法(SS-ICA).它使用较少的已标记数据,利用短文本间的关系进行迭代分类.通过与常用分类方法进行对比表明,在标注数据较少的情况下SS-ICA比其他分类器有更高的分类精度.     

基于用户行为的精准化推送服务平台的研究与实现

目的给出一种通过构建元数据库和用户需求的特征数据库进行文献精准推送服务平台的建设方案。方法尝试使用数据库技术、WEB技术和网络爬虫技术从图书馆资源、互联网资源中构建出科技文献元数据库以及采集用户阅读文献信息数据形成个人需求特征的数据库,最后通过文献相似度算法实现精准推送服务平台的建设。结果与结论该平台提供了一站式检索服务和个性化精准推送服务,满足了读者对文献快捷获取、阅读高效的个性化需求。     

基于两步策略的英文文本分类

提出了基于两步策略的3种多类多标签英文文本分类方法:①以贝叶斯为分类器,以抽取词根的单词和未抽词根的单词分别作为第一、第二步使用特征的两步方法;②以贝叶斯和决策树分别为第一、第二步使用分类器的两步方法;③以ID 3、C 4.5和贝叶斯的组合分类器对部分特定类别进行分类,然后对余下类别采用方法②进行二次分类的混合两步方法。实验表明,3种方法中方法③具有最好的性能。     

基于两步策略的中文短文本分类研究

为更好地挖掘文本信息,研究了将两步策略用于中文短文本分类的3个关键问题,提出了基于组合朴素贝叶斯(NB)和K近邻(KNN)分类器的两步中文短文本分类方法:(1)直接利用NB和KNN的输出构造其对应的二维空间,根据该空间内错误文本的分布将测试文本集分为3部分:能被KNN可靠分类的文本集A,不能被KNN可靠分类但能被NB可靠分类的文本集B,其他文本集C.(2)用KNN、NB分别对文本集A和B进行分类,根据训练语料的类别分布,直接给属于文本集C的文本分配标签.与NB、KNN和支持向量机(SVM)的对比实验表明,该方法可获得较高的分类性能.     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN）,用于短文本分类.首先,使用实体链接工具抽取短文本中的实体;然后,利用图卷积神经网络对文档、实体和单词进行建模,丰富文本的潜在语义特征;将学习到的单词节点表示与BERT词嵌入进行拼接,通过双向长短期记忆网络,进一步挖掘文本上下文语义特征,再与图神经网络模型得到的文本特征进行融合,用于分类.实验结果表明,该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%,优于大部分主流的基线方法.     

基于机器学习的文本分类方法综述

文本分类是信息检索与数据挖掘领域的核心技术,是机器学习领域新的研究热点。本文对现有的基于机器学习的文本分类方法进行了详细的介绍,分析了各种方法的优缺点,并阐述了文本分类方法未来的发展趋势。     

基于文本聚类的LSI文本分类模型

文本自动分类是文本挖掘的基础,可广泛地应用于信息检索,web挖掘等领域.在分类前首先要将文本表示成计算机能处理的形式,提出了一种将隐含语义索引(LSI)与文本聚类相结合的中文文本自动分类的方法.在挖掘文本的语义信息,提高分类速度上均取得了较好的效果.通过实验验证了方法的有效性.     

基于LDA的文本分类算法

LDA可以实现大量数据集合中潜在主题的挖掘与文本信息的分类,模型假设,如果文档与某主题相关,那么文档中的所有单词都与该主题相关.然而,在面对实际环境中大规模的数据,这会导致主题范围的扩大,不能对主题单词的潜在语义进行准确定位,限制了模型的鲁棒性和有效性.本文针对LDA的这一弊端提出了新的文档主题分类算法gLDA,该模型通过增加主题类别分布参数确定主题的产生范围,提高分类的准确性.Reuters-21578数据集与复旦大学文本语料库中的数据结果证明,相对于传统的主题分类模型,该模型的分类效果得到了一定程度的提高.     

基于本体的文本自动分类

随着计算机技术的发展,各个领域的信息层出不穷,使得文本分类显得十分重要。针对当前文本分类存在的不足,提出了基于本体的文本自动分类方法。该方法将文本自动分类技术与本体技术相结合,并提出只从提取每段首尾句中提取特征词的方法,提高了文本自动分类的效率。     

基于BERT的长文本分类方法

由于预训练模型输入分词数量限制,基于BERT的长文本分类任务效果与长文本分割后的文本段集合的处理及特征融合密切相关,现有的长文本分类研究在融合文本段特征时更关注文本段之间原始的顺序关系,而本文提出了一种基于BERT和集合神经网络的长文本分类模型.该方法以BERT为基础,可处理从同一文本样本分割得到的任意数量文本段,经过BERT后得到文本段特征,再将所有文本段特征输入到具有置换不变性的集合神经网络层中,提取出集合级别特征来优化长文本的特征表达.通过在三个数据上的实验分析,论文在平均分词长度较长的数据集上取得了90.82%的准确率,高出目前最优方法4.37%.     

基于"中文新闻信息分类与代码"文本分类

基于中文新闻信息分类体系,探索了中文新闻信息分类与代码的自动分类方法.根据中文新闻信息分类与代码的特点以及初始主题词满足的规则获得分类的初始主题词,利用获得的初始主题词构建中文新闻信息分类与代码体系的特征向量,将文本按该体系进行自动分类,分类结果采用人工抽样分析,一级类目的正确率为72%.     

基于组合分类策略的个人信用风险评估研究

随着个人贷款的需求日渐旺盛,评估贷款人的信用好坏对金融机构规避风险尤为重要。文章提出了基于组合分类策略的个人信用风险评估模型,该模型引入了决策分值的概念,选取K最近邻(K-nearest neighbor, KNN)、随机森林(random forest,RF)、决策树(decision tree,DT)和支持向量机(support vector machine SVM)等常用的信用评估分类算法作为基分类器,分别从稳定性和准确性2个维度计算每个基分类器的决策分值,并根据组合后的决策分值评估贷款人信用好坏,最后在3个真实数据集上验证了该模型的有效性。     

基于支持向量机的文本分类方法研究

文本分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.其中基于支持向量机的文本分类方法的研究是信息检索领域的一个重要分支.本文首先讨论了该领域的研究状况,接着阐述并分析了在该领域中的主要研究方法以及实例, 最后对该领域研究中存在的问题和方向进行了分析.     

基于深度学习和主题模型的短文本分类方法

为了解决短文本的语义稀疏和特征信息难以提取问题,本文提出了一种基于深度学习的短文本分类方法.首先通过增加自注意机制的双向BiLSTM通道获取短文本特征词向量,引入外部CN-DBpedia知识库KBs来深度挖掘短文本语义,解决语义稀疏问题.其次通过BTM主题模型在短文本数据集上提取主体信息,为了得到准确的词向量拼接引入了超参数δ.最终将所得的特征词向量以及知识向量运用语义余弦相似度计算并拼接向量,将得到的拼接结果与主题信息通过Softmax分类器中进行分类.在中国微博情感分析数据集、产品评价数据集、中文新闻标题数据集、Sogou新闻数据集上进行实验.与TextCNN、TextRNN、TextRNN＿Att、BiLSTM-MP、KPCNN算法相比,分类准确性有一定提高.     

关于文本挖掘中文本分类与文本聚类的研究

本文首先介绍文本挖掘的定义及一般处理过程,重点探讨了文本分类与分类聚类等文本挖掘的关健技术。     

基于SVM的Web文本分类

支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上发展起来的一种新的机器学习方法。它是在有限样本的基础上,在训练复杂度和学习能力之间寻求折中,以期望获得较好的推广能力。支持向量机具有理论完备、适应性强、全局优化、训练时间短、泛化性能好等优点,已经成为目前国际、国内研究的热点。国际上己经有一很多关于SVM的研究报道,SVM在很多方面都有成功应用实例,如粒子鉴定、脸谱识别、文本分类、生物信息、商用数据库。本文主要探讨在Web文本的分类。