基于LDA模型与语义网络对评论文本挖掘研究

通过主题模型与语义网络对旅游电商中的评论文本进行挖掘,从而引导消费者与商家对评论信息作出重要决策;提出一种基于LDA(Latent Dirichlet Allocation,LDA)主题聚类与语义网络模型(LDA topic clustering and semantic network model,LTC-SNM)的方法对酒店在线评论文本进行研究;获取在线评论文本进行数据预处理,使用Word2vec生成词向量,利用机器学习算法对评论文本进行情感分类;通过LDA主题模型对分类后的文本进行聚类,生成酒店的特征主题词;通过ROSTCM将特征主题词与所修饰的情感词生成语义网络,缓解了挖掘文本信息的复杂性;实验结果表明:提出的LTC-SNM文本挖掘方法使得在线用户评价的主题更具表达性。     

文字云及主题模型的统计挖掘

互联网等信息技术的迅猛发展使网络中积累了大量半结构化和非结构化的文本数据，如何从这些海量电子文档中获取需要的信息并以高效直观信息图的形式展现，成为统计分析工作者的一项主要任务。文字云是信息图表达的一种新型文本显示方式，利用文字云和主题模型文本挖掘方法，对文本进行移除数字、去除停用词等预处理操作，然后执行中文分词，构建语料库，建立文档-词条矩阵，最后以文字云和主题模型的形式呈现挖掘结果。实验中主要利用R语言，以多年粗糙集会议纪要为实验数据进行了相关统计分析，并对比了 Tagxedo文字云生成器，结果表明，从文字云中比较容易获取文本的重要信息如主题模型等，挖掘效果较好。     

基于LDA的文本分类算法

LDA可以实现大量数据集合中潜在主题的挖掘与文本信息的分类,模型假设,如果文档与某主题相关,那么文档中的所有单词都与该主题相关.然而,在面对实际环境中大规模的数据,这会导致主题范围的扩大,不能对主题单词的潜在语义进行准确定位,限制了模型的鲁棒性和有效性.本文针对LDA的这一弊端提出了新的文档主题分类算法gLDA,该模型通过增加主题类别分布参数确定主题的产生范围,提高分类的准确性.Reuters-21578数据集与复旦大学文本语料库中的数据结果证明,相对于传统的主题分类模型,该模型的分类效果得到了一定程度的提高.     

一种用于查询扩展词选取的主题模型

为能在搜索引擎返回的结果集上构建贴近用户意图的主题层,并在文档词与主题间建立映射,将社会化标注引入经典的LDA模型,构建一种基于主题-标签-文档词之间关系的三层主题模型,并将其用于伪相关反馈查询扩展词的选取.实验结果表明,该模型提取的查询扩展词能描述标签的语义,模型用于伪相关反馈后,提取的扩展词能覆盖查询条件,在多数情况下结果列表的NDCG值高于基本伪相关反馈和结果集聚类方法.     

英语专业本科生翻译论文选题研究

选题是撰写论文的前提和起点,是本科生毕业论文写作过程中的重要环节。本文通过对某高校英语专业本科生翻译方向毕业论文的题目之统计,以及一项调查问卷,分析了翻译论文选题中存在的问题、出现的趋势及其成因,对本科生毕业论文的选题和翻译教学的启示作用进行了探讨。     

基于时空兴趣点和主题模型的动作识别

提出了一种新的基于概率主题模型的人体动作识别方法.该方法利用局部的时空兴趣点特征,采用词袋(bag of words)的方法对跑、跳、挥手等几种常见的动作进行表示.利用概率主题模型,使视频的动作类别标记对应于概率模型中的隐含变量,通过对隐变量的推断,实现对整个视频的动作分类.该算法还可以将每个兴趣点划分为不同的动作类别...     

Topics and trends of the on-line public concerns based on Tianya forum

Many social events spread fast through the Internet and arouse wide community discussions. Those on-line public opinions emerge into diverse topics along the time. Moreover, the strength of the topics is fluctuating. How to catch both primary topics and trend of topics over the shifting on-line discussions are not only of theoretical importance for scientific research, but also of practical importance for societal management especially in current China. To try the cutting-edge text analytic technologies to deal with unstructured on-line public opinions and provide support for social problem-solving in the big data era is worth an endeavour. This paper applies dynamic topic model （DTM） to explore the changing topics of new posts collected from Tianya Zatan Board of Tianya Club, the most influential Chinese BBS in mainland China. By analysis of the hot and cold terms trends, we catch the topics shift of main on-line concerns with illustrations of topics of school bus and environment in December of 2011. An algorithm is proposed to compute the strength fluctuation of each topic. With visualized analysis of the respective main topics in several months of 2012, some patterns of the topics fluctuation on the board are summarized.     

基于LDA模型和卡方检验的网络暴力话题挖掘方法

目的 社交网络中存在着许多暴力话题,暴力话题识别对网络舆情的精准干预和管控具有十分重要的意义。当前网络暴力研究主要集中在用户负面情感计算、暴力用户识别等领域,缺乏对网络暴力组织构成研究,无法在复杂网络环境中精准识别网络暴力的附着载体。方法 通过分析网络暴力在话题内的聚焦特性,提出了一种基于LDA模型和卡方检验的网络暴力话题识别方法,该方法首先运用LDA模型识别网络语料库中的话题,并用相似度计算方法对话题文本进行分类;然后运用卡方检验筛选话题文本中的暴力特征;最后依据情感词典计算各话题内的暴力值,按照暴力密度判断话题的暴力属性。结果/结论 在真实的网络语料库上实验验证了本文方法,实验结果表明：本文方法的暴力话题识别性能（F值）均值为80.64%,优于对比方法,达到了良好的网络暴力话题识别效果。     

一种基于主题的文档检索模型

现有信息检索模型难以从主题层次上准确判别文档相似性,为此,本文提出了一个基于主题的文档检索模型(TDRM).TDRM为所有文档建立公共主题空间,把每个文档表示为主题空间上的一个向量,并用向量夹角余弦定义文档相似度.TDRM模型借助Latent Dirichlet Allocation的主题生成方法估计每个文档的主题分布.实验结果证明,与基于词频统计的向量空间模型相比,TDRM模型在相关文档检索方面有更高的检索精度.     

基于AToT模型的中国科技部官方微信主题量化分析

 中国科学技术部已将微信等社交媒体应用于科技管理，“锐科技”是科技部官方微信公众号。与传统科技类报刊、期刊的编辑手段不同，“锐科技”微信公众号在选稿和推送上有自身特点。采用后验概率主题模型对“锐科技”和其子公众号“锐动源”的稿件内容进行量化分析和挖掘，揭示了科技部官方微信选稿内容随时间变化的规律；通过研究科技工作者阅读偏好，展示了文章主题与读者浏览量之间的关系，有助于提高科技类新媒体的编辑和水平，增强科技宣传效果，更好地理解中国科技管理的思路。