一种基于主题的Web文本聚类算法

设计了一种基于主题的Web文本聚类方法(HTBC):首先根据文本的标题和正文提取文本的主题词向量,然后通过训练文本集生成词聚类,并将每个主题词向量归类到其应属的词类,再将同属于一个词类的主题词向量对应的文本归并到用对应词类的名字代表的类,从而达到聚类的目的.算法分四个步骤:预处理、建立主题向量、生成词聚类和主题聚类.同时,对HTBC与STC、AHC、KMC算法从聚类的准确率和召回率上做了比较,实验结果表明,HTBC算法的准确率较STC、AHC和KMC算法要好.     

基于外部知识筛选的主题文本生成技术研究

在自然语言生成任务中，主题文本生成是一项富有挑战性的工作，其主要难点在于：源信息量远小于目标生成的信息量.为了解决该问题，本文提出一个基于外部知识筛选的主题文本生成模型Trans K，通过引入与主题词相关的外部知识来丰富源信息，进而提高生成文本的质量.本文为了解决引入外部知识的“一词多义”问题，提出一种基于线性变换的主题向量计算方法，用于筛选和主题词语义一致的外部知识；提出一种基于注意力机制的外部权重计算方法，为每个外部词设定一个主题权重，使其更贴合文本语义；为了解决主题词（含候选词）在生成文本中反复出现的问题，提出一种基于多头注意力机制的内部权重计算方法.在EASSY数据集上的实验表明，与基线相比，Trans K生成文本质量的各项指标更优.此外，人类评估表明，该模型可生成与主题更相关、语言更连贯、且符合语义逻辑的文本.     

基于加权主题分布表达的微博文本摘要生成研究

对微博文本的向量化表达及摘要效果的评测问题进行了研究.引入Word2vec模型实现微博文本词语的向量化表达,进而对词向量聚类生成主题词类.计算微博文本到主题词类的隶属度,结合主题词类的权重,生成微博文本的加权主题分布表达.在此基础上划分类簇实现摘要句的提取.基于类簇H指数选出高频词作为标准摘要词集,考察了生成摘要与标准摘要词集中共现词的词频分布,实现对自动摘要效果的评测.实验结果表明,本文提出的方法有助于提升微博短文本集的摘要生成效果.     

基于LDA模型与语义网络对评论文本挖掘研究

通过主题模型与语义网络对旅游电商中的评论文本进行挖掘,从而引导消费者与商家对评论信息作出重要决策;提出一种基于LDA(Latent Dirichlet Allocation,LDA)主题聚类与语义网络模型(LDA topic clustering and semantic network model,LTC-SNM)的方法对酒店在线评论文本进行研究;获取在线评论文本进行数据预处理,使用Word2vec生成词向量,利用机器学习算法对评论文本进行情感分类;通过LDA主题模型对分类后的文本进行聚类,生成酒店的特征主题词;通过ROSTCM将特征主题词与所修饰的情感词生成语义网络,缓解了挖掘文本信息的复杂性;实验结果表明:提出的LTC-SNM文本挖掘方法使得在线用户评价的主题更具表达性。     

基于LDA模型的网络刊物主题发现与聚类

随着智能终端的普及,文本的主题挖掘需求也越来越广泛,主题建模是文本主题挖掘的核心,LDA生成模型是基于贝叶斯框架的概率模型,它以语义关联为基础,很好地解决了文本潜在主题的提取问题。对文本聚类过程的核心技术LDA生成模型、数据采样、模型评价等作了较为深入的阐述和解析,结合网络教育平台的2 794篇学习刊物进行了主题发现和聚类实验,建立了包含3 800个词项的词库,通过kmeans算法和合并向量算法(UVM)分两步解决了主题聚类问题。提出了文本挖掘实验的一般方法,并对层次聚类中文本距离的算法提出了改进。实验结果表明,该平台刊物的主题整体相似度比较好,但主题过于集中使得许多刊物的内容不具有辨识度,影响用户对主题的定位。     

利用本体技术的文本聚类模型

文本聚类作为一种自动化程度较高的无监督机器学习方法,能够实现对文本信息的有效组织、摘要和导航,近年来已经广泛应用在信息检索领域。笔者针对使用向量空间模型进行聚类时对于同义词和多义词的处理存在的缺陷,提出了基于本体的文本聚类模型。首先使用WordNet词典对文档中的词进行语义标注,得到文档的概念集合;然后对每个文档的概念集合进行概念聚类,生成文档的概念主题;最后通过计算主题的相似度完成文本聚类。该模型减少了相似度计算量,改善了聚类结果和聚类性能。     

基于邻域粗糙集的文本主题特征提取

LDA主题模型是一种有效的文本语义信息提取工具,利用在文档层中实现词项的共现,将词项矩阵转化为主题矩阵,得到主题特征;然而在生成文档过程中会蕴含冗余主题。针对LDA主题模型提取主题特征时存在冗余的不足,提出一种基于邻域粗糙集的LDA主题模型约简算法NRS-LDA。利用邻域粗糙集构造主题决策系统,通过预先设定主题个数,计算出每个主题的重要度;根据重要度进行排序,将排序后重要度低的主题删除。将提出的NRS-LDA算法应用于K-means文本聚类问题上并与传统的文本特征提取算法及改进的算法进行比较,结果表明NRS-LDA方法可以得到更高的聚类精度。     

基于学习者能力的注意力机制知识追踪方法

基于学习者能力,针对基于循环神经网络（RNN）和长短期记忆（LSTM）网络的深度知识追踪（DKT）算法对早期知识点关注的不足,提出一种加入注意力机制的DKT算法,并用时隙聚类的方法对不同能力学习者动态分组并赋予不同的注意力权值,以建立更平衡、更客观的知识记忆程度权重分布模型.常用公开数据集上的实验结果表明：该模型优于2种基准模型和2种消融实验模型,说明所提出的模型能更好地表现学习者的知识状态.     

基于词类和搭配的微博舆情文本聚类方法研究

微博是近年出现的新型互联网信息交流平台,它具有主题分散、体量短小、文体自由等特性,它能对社会产生巨大的影响,所以信息监管部门和商业企业对基于微博信息的舆情分析都有迫切需求.提出了基于搭配的文本聚类新方法,该方法先进行微博文本预处理,然后利用词类模型进行自动抽取有效搭配,最后基于有效搭配的模型进行文本聚类.实验证明利用词类文本聚类方法比传统文本聚类方法性能提高6.3%,而本文方法比利用词类文本聚类方法性能提升了16.8%,结果显示了本方法的有效性.     

基于LDA的文本聚类在网络舆情分析中的应用研究

针对传统的基于词语的文本聚类算法忽略了文本中可能具有的隐含信息的问题,提出了一种基于LDA(latent dirichlet allocation)主题模型的文本聚类算法。该方法利用TF-IDF算法和LDA主题模型分别计算文本的相似度,通过耗费函数确定文本相似度的融合系数并进行线性结合来获取文本之间的相似度,同时使用F-measure值来对聚类结果进行评估。在构建LDA主题模型时,采用Gibbs抽样来进行参数估计,通过贝叶斯统计的标准方法进行最优主题数的确定。从仿真实验的聚类结果的准确性和稳定性来看,该方法相比传统的文本聚类算法具有更良好的效果。     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于细粒度可解释矩阵的摘要生成模型

针对摘要模型中总结并解释长篇上下文信息存在的困难,提出一种基于细粒度可解释矩阵,先抽取再生成的摘要模型(fine-grained interpretable matrix,FGIM),提升长文本对显著度、更新性和相关度的可解释抽取能力,引导系统自动生成摘要.该模型通过一个句对判别(pair-wise)抽取器对文章内容进...     

基于正则约束的分层仿射图神经网络文本分类模型

文本分类是自然语言处理中一个重要的研究课题。近年来，图神经网络（graph neural network，GNN）在这一典型任务中取得了良好的效果。目前基于图结构的文本分类方法存在边噪声和节点噪声干扰、缺乏文本层次信息和位置信息等问题。为了解决这些问题，提出了一种基于正则约束的分层仿射图神经网络文本分类模型Text-HARC，该模型融合了图注意力网络（graph attention network，GAT）与门控图神经网络（gated graph neural network，GGNN），引入正则约束过滤节点与边噪声，分别使用仿射模块与相对位置编码补充词语表示。通过实验，该方法在TREC、SST1、SST2、R8四个基准数据集上的准确率提升明显，消融实验结果也验证了该方法的有效性。     

基于深度学习的Stack Overflow问题帖分类方法

针对基于正则表达式和传统机器学习的分类方法分别存在模式手工提取困难和性能瓶颈的问题,提出一种基于深度学习的问题帖分类方法,采用深度文本挖掘模型TextCNN和融合注意力机制的TextRNN构建分类模型.实验结果表明,基于深度学习的方法在多数问题目的类别上的分类性能优于已有基准方法,且使用的Adam优化器优于SGD优化器...     

基于双向编码文本摘要-长短期记忆-注意力的检察建议文本自动生成模型

针对诉讼案件文档包含句子较多导致模型实时性较差且无法保证文本生成质量的问题,提出一种基于BERTSUM-LSTM-attention的检察建议文本自动生成方法。首先,通过基于双向编码表示的文本摘要模型(bidirectional encoder representations from transformer for summarization, BERTSUM)对句子的首端标识符[cls]进行编码获取不同长度句子的特征;其次,采用长短期记忆(long short term memory, LSTM)网络对长句子特征进行深层次编码来获取长距离句子的依赖关系;最后,引入注意力(attention)机制来捕捉对文本生成起重要作用的关键信息,通过分配不同权重来区分信息的不同作用。在公益诉讼案件的环境保护领域数据上进行测试,实验结果表明,所提方法相比其他模型,在ROGUE-1、ROGUE-2、ROGUE-L的F_1指标上均有不同程度的提升,相比最优模型BERT+transformer,参数量比其少11 M,训练和测试时间在每百个步长较后者分别少15 s和4 s,在提高模型实时性的基础上确保了文本生成质量。且所提方法相比其他所有方法,在ROGUE-1、ROGUE-2、ROGUE-L的召回率指标上取得最高值,说明所提方法对关键句更敏感,对关键句的查全效果更好。     

基于改进Transformer的生成式文本摘要模型

基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。     

基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。