动态时间分布LDA的网络舆情热点词链提取研究

由于网络舆情文本的数据量非常大,用人工方式很难从舆情文本中发现舆情热点。利用LDA(Latent Dirichlet Allocation)主题模型的文本降维及词语聚类功能,能够从海量的舆情文本中自动提取所关注的焦点主题词。但由于缺乏动态的时间分布机制,LDA难以捕捉随时间变化的热点词链。本文提出了加入动态时间层的DTD-LDA(Dynamic Time Distribution LDA)模型,增加了文档-时间和时间-主题的动态分布机制,改善了LDA主题词对时间变化的敏感性,可以有效提取迅速变化的舆情文本热点词链。实验表明,DTD-LDA相比较同类模型,在动态热点词链的提取上具有更好的准确率和召回率。     

京津冀协同发展报纸新闻主题发现及其关联分析

京津冀协同发展上升为国家战略,以报纸为代表的大众媒体对其进行密切而又广泛的报道。为了准确把握媒体报道主题的规律和特点,需要结合时间维度从大规模新闻文本的内容层面进行主题关联分析。以2014—2020年中国主流报纸媒体对京津冀协同发展的报道为研究对象,将数理统计、主题模型、主题关联和文本分析等方法相结合,分析了京津冀协同发展的主题分布、主题强度、主题关联关系,以"京津冀文旅产业协同发展"主题为例进行主题关联演化分析。结果表明:京津冀协同发展的报道主题呈多样化特点,报道时间分布规律与国家重要事件相契合,发现了政策宣传、产业转移和交通一体化等十大主题,说明新闻报道主题框架分布与国家政策推进重点相一致。研究结果进一步揭示了本文方法对国家战略新闻文本信息分析的有效性。     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

在线增量标签主题模型

将文本之间存在的时序关联性元信息和文档的标签信息, 引入到隐藏Dirichlet分配模型中, 提出一种在线增量标签主题（on line labeled incremental topic model, OLT）模型. 首先, 在线增量标签主题模型优化了文本标签元信息与主题之间的映射关系; 其次, 利用动态字典增加了模型与文本的拟合程度. 该模型优化了
先验分布超参数迁移计算的连续性, 解决了隐藏Dirichlet分配(LDA)模型不能利用文本属性与主题之间的相关性进行主题发现及演变分析的问题. 实验结果表明, 所提出的在线增量标签主题模型能显著改善多标签判别精度, 提高模型的泛化能力并提升模型的运行性能.     

基于MapReduce的并行LAD模型评论主题提取算法研究

针对传统的潜在狄利克雷分析(LDA)模型在提取评论主题时存在着计算时间长、计算效率低的问题,提出基于MapReduce架构的并行LAD模型建立方法.在文本预处理的基础上,得到文档-主题分布和主题-特征词分布,分别计算主题相似度和特征词权重,结合k-均值聚类算法,实现评论主题提取的并行化.通过Hadoop并行计算平台进行实验,结果表明,该方法在处理大规模文本时能获得接近线性的加速比,对主题模型的建立效果也有提高.     

基于最优化控制模型的文本主题域划分

提出一种基于最优化控制模型的文本主题域划分方法, 采用主题域内距离、 主题域间距离、 主题域内夹角和主题域间夹角等相关要素, 构建了最优化模型的目标函数, 进而通过对模型求解得到文本主题域的最优划分模式. 该方法为全局最优化方法, 与具体的应用领域无关, 具有较高的普适性. 实验结果表明, 在算法适用性、 F1评价和Window Diff评价上, 该算法均优于其他相关算法.     

基于主题相关性和深度学习的文本情感分析

将相关主题模型和神经网络相结合开展文本情感分析研究。首先，为了度量文本的主题相关程度，采用CTM模型对文本进行特征分割，得到主题与词之间的相关矩阵和文本句子的主题特征向量；其次，基于相关性理论，构造蕴含主题相关信息的词向量，采用word2vec模型进行文本词表示；最后，使用BiLSTM模型对文本句子进行表示，实现文本情感特征提取。     

基于邻域粗糙集的文本主题特征提取

LDA主题模型是一种有效的文本语义信息提取工具,利用在文档层中实现词项的共现,将词项矩阵转化为主题矩阵,得到主题特征;然而在生成文档过程中会蕴含冗余主题。针对LDA主题模型提取主题特征时存在冗余的不足,提出一种基于邻域粗糙集的LDA主题模型约简算法NRS-LDA。利用邻域粗糙集构造主题决策系统,通过预先设定主题个数,计算出每个主题的重要度;根据重要度进行排序,将排序后重要度低的主题删除。将提出的NRS-LDA算法应用于K-means文本聚类问题上并与传统的文本特征提取算法及改进的算法进行比较,结果表明NRS-LDA方法可以得到更高的聚类精度。     

基于JST模型的新闻文本的情感分类研究

使用JST模型对中文新闻文本进行情感分析,相对于评论文本,新闻文本主观性比较弱,而且大多是长文本,会影响JST模型的分类性能.给出一种抽取情感主题句的方法,将抽取得到的情感主题句结合现有的JST模型对新闻文本的情感倾向进行了分析.实验表明,使用情感主题句进行情感分析,避免了与主题情感无关的句子对分析结果的影响,提高了分类准确率.     

基于LDA的文本分类算法

LDA可以实现大量数据集合中潜在主题的挖掘与文本信息的分类,模型假设,如果文档与某主题相关,那么文档中的所有单词都与该主题相关.然而,在面对实际环境中大规模的数据,这会导致主题范围的扩大,不能对主题单词的潜在语义进行准确定位,限制了模型的鲁棒性和有效性.本文针对LDA的这一弊端提出了新的文档主题分类算法gLDA,该模型通过增加主题类别分布参数确定主题的产生范围,提高分类的准确性.Reuters-21578数据集与复旦大学文本语料库中的数据结果证明,相对于传统的主题分类模型,该模型的分类效果得到了一定程度的提高.     

文字云及主题模型的统计挖掘

互联网等信息技术的迅猛发展使网络中积累了大量半结构化和非结构化的文本数据，如何从这些海量电子文档中获取需要的信息并以高效直观信息图的形式展现，成为统计分析工作者的一项主要任务。文字云是信息图表达的一种新型文本显示方式，利用文字云和主题模型文本挖掘方法，对文本进行移除数字、去除停用词等预处理操作，然后执行中文分词，构建语料库，建立文档-词条矩阵，最后以文字云和主题模型的形式呈现挖掘结果。实验中主要利用R语言，以多年粗糙集会议纪要为实验数据进行了相关统计分析，并对比了 Tagxedo文字云生成器，结果表明，从文字云中比较容易获取文本的重要信息如主题模型等，挖掘效果较好。     

基于LDA模型的网络刊物主题发现与聚类

随着智能终端的普及,文本的主题挖掘需求也越来越广泛,主题建模是文本主题挖掘的核心,LDA生成模型是基于贝叶斯框架的概率模型,它以语义关联为基础,很好地解决了文本潜在主题的提取问题。对文本聚类过程的核心技术LDA生成模型、数据采样、模型评价等作了较为深入的阐述和解析,结合网络教育平台的2 794篇学习刊物进行了主题发现和聚类实验,建立了包含3 800个词项的词库,通过kmeans算法和合并向量算法(UVM)分两步解决了主题聚类问题。提出了文本挖掘实验的一般方法,并对层次聚类中文本距离的算法提出了改进。实验结果表明,该平台刊物的主题整体相似度比较好,但主题过于集中使得许多刊物的内容不具有辨识度,影响用户对主题的定位。     

基于综合方法的文本主题句的自动抽取

提出了基于综合方法的主题句的提取方法,并着重讨论了文本主题概念的提取以及相应的权值体系.根据概念间的相互关系,对同义概念进行语义归并,对上下位概念进行语义聚焦,模拟人工标引专家在分析文本主题时的“兼顾各个方面的主题,同时又有所侧重”的原则.在调整文本主题上下位概念的权值时,既考虑下位概念对上位概念的增强作用,同时又考虑到这种调整不影响整个文本主题的分布,从而更精确地抽取出文本的主题概念.采用多种权重度量方式,综合评估句子反映主题的价值.在此基础上,采用主题句选择算法将文本的主题数与所抽取的主题句的数量关联在一起,保证每一个主要的主题都有对应的主题句被选中,并解决主题句的去重问题,从而进一步提高所抽出主题句的主题覆盖性和概括性.     

基于LDA的文本聚类在网络舆情分析中的应用研究

针对传统的基于词语的文本聚类算法忽略了文本中可能具有的隐含信息的问题,提出了一种基于LDA(latent dirichlet allocation)主题模型的文本聚类算法。该方法利用TF-IDF算法和LDA主题模型分别计算文本的相似度,通过耗费函数确定文本相似度的融合系数并进行线性结合来获取文本之间的相似度,同时使用F-measure值来对聚类结果进行评估。在构建LDA主题模型时,采用Gibbs抽样来进行参数估计,通过贝叶斯统计的标准方法进行最优主题数的确定。从仿真实验的聚类结果的准确性和稳定性来看,该方法相比传统的文本聚类算法具有更良好的效果。     

基于LDA模型的WEB文本分类

提出了基于LDA（Latent Dirichlet Allocation）主题模型的Web文本分类方法,利用MCMC方法中的Gibbs抽样获得模型参数从而获取词汇的概率分布,使隐藏于WEB文本内的不同主题与WEB文本字词建立关系。将LDA算法应用于WEB文本分类识别领域,在实验中与k均值聚类和贝叶斯网络方法进行了对比,其结果表明LDA与其他同类算法相比具有一定的优势。     

基于复合主题演化模型的作者研究兴趣动态发现

以金融领域的科技文献作为实验数据,提出了一种新的用于动态挖掘领域相关的作者研究兴趣的复合主题演化模型。该模型能够获取作者在不同时间片下的主题概率分布以及主题下词汇概率分布,并充分考虑作者在合作作者文献中的排名对于其研究主题和主题变化的影响。通过金融领域的实证研究表明,该复合主题演化模型能够有效地揭示金融领域作者研究兴趣的动态变化。     

基于LDA模型与语义网络对评论文本挖掘研究

通过主题模型与语义网络对旅游电商中的评论文本进行挖掘,从而引导消费者与商家对评论信息作出重要决策;提出一种基于LDA(Latent Dirichlet Allocation,LDA)主题聚类与语义网络模型(LDA topic clustering and semantic network model,LTC-SNM)的方法对酒店在线评论文本进行研究;获取在线评论文本进行数据预处理,使用Word2vec生成词向量,利用机器学习算法对评论文本进行情感分类;通过LDA主题模型对分类后的文本进行聚类,生成酒店的特征主题词;通过ROSTCM将特征主题词与所修饰的情感词生成语义网络,缓解了挖掘文本信息的复杂性;实验结果表明:提出的LTC-SNM文本挖掘方法使得在线用户评价的主题更具表达性。     

文本分类中基于单词表示的全局向量模型和隐含狄利克雷分布的文本表示改进方法

针对文本分类中文本数据表示存在稀疏性、维度灾难、语义丢失的问题,提出一种基于单词表示的全局向量(global vectors for word representation, GloVe)模型和隐含狄利克雷分布(latent Dirichlet allocation, LDA)主题模型的文本表示改进方法。利用GloVe模型结合局部信息和全局词语共现的统计信息训练得到文本的稠密词向量,基于LDA主题模型生成文本隐含主题和相应的概率分布,构建文本向量以及基于概率信息的主题向量,并计算两者之间的相似性作为分类器的输入。实验结果表明,相比其他几种文本表示方法,改进方法在精确率、召回率和F_1值上均有所提高,基于GloVe和LDA的文本表示改进方法能有效提升文本分类器的性能。     

我国现行科技政策主体与主题的构成分析(1978-2018年)

科技发展水平是衡量一个国家或地区发展水平和发展潜力的重要标志,而其科技政策对科技发展有着重要影响。科技部作为我国专职从事科技发展管理的权威政府部门,其制定的科技政策具有较强代表性。因此,为了研究我国现行科技政策的基本发展规律,以科技部的数据为基础,对改革开放至今近40年来仍现行有效的科技政策文本从文本形式、政策主体、政策主题与主体的交互关系以及政策主题关键词的共现四个维度进行频数统计和定量分析。研究发现,我国科技部现行科技政策具有政策文本制定的"灵活性和渐进性",政策文本主体构成的"权威性和精英性",政策文本主题内容的"多样性和特色性",政策文本主题分布的"广泛性和紧密性"四个基本特点。     

基于LDA-KeyBERT模型的技术预见：以工业互联网为例

随着技术预见定量分析方法以及文本挖掘技术的发展，通过主题模型挖掘专利文献的潜在语义来获取技术发展趋势逐渐成为研究热点之一。尽管LDA(Latent Dirichlet Allocation)模型依然是文本主题建模领域应用最广泛的方法，但传统LDA建模存在主题可解释性差以及未能充分利用专利文本上下文的语义关联等问题，导致部分有价值的技术情报未能完全呈现。为了进一步拓展传统LDA方法在专利文本挖掘和技术预见领域的应用，综合集成LDA模型的文本聚类功能与KeyBERT算法的关键词生成与语义分析能力，构建了一种面向技术预见量化分析的集成框架，并通过对工业互联网领域的技术预见分析验证了所提出模型的有效性，从而进一步丰富了当前基于文本建模和语义计算的技术预见方法体系。