基于LDA模型与语义网络对评论文本挖掘研究

通过主题模型与语义网络对旅游电商中的评论文本进行挖掘,从而引导消费者与商家对评论信息作出重要决策;提出一种基于LDA(Latent Dirichlet Allocation,LDA)主题聚类与语义网络模型(LDA topic clustering and semantic network model,LTC-SNM)的方法对酒店在线评论文本进行研究;获取在线评论文本进行数据预处理,使用Word2vec生成词向量,利用机器学习算法对评论文本进行情感分类;通过LDA主题模型对分类后的文本进行聚类,生成酒店的特征主题词;通过ROSTCM将特征主题词与所修饰的情感词生成语义网络,缓解了挖掘文本信息的复杂性;实验结果表明:提出的LTC-SNM文本挖掘方法使得在线用户评价的主题更具表达性。     

基于LDA模型的中文微博话题意见领袖挖掘

有效挖掘微博空间中的话题意见领袖成为亟待解决的热点问题.针对这一问题,提出了基于LDA语义信息和HowNet知识库的短文本子话题分类算法.对分类后的微博从显式、隐式及用户等方面综合衡量微博的影响力,并根据层次分析法对多个因素进行科学地权值分配.实验结果表明,提出的方法较基于支持向量机的方法具有更好的效果,同时提出的影响力度量模型可以有效地挖掘出微博中的话题意见领袖.     

基于LDA模型和语义网络的线上文本挖掘方法

传统线上文本挖掘方法在克服相似性干扰时,需要加入大量约束条件,降低了挖掘准确率。为此,本文提出基于LDA模型和语义网络的线上文本挖掘方法。采用滤波处理法对线上文本信息进行滤波处理,获得线上文本的抗干扰向量,提取线上文本信息的频谱特征。利用语义网络构建线上文本的语义网络挖掘模型,计算线上文本挖掘信息的相似度。基于LDA模型对获取的线上文本阈值进行分类,得到线上文本挖掘权值,将挖掘到的关系词带入到概念属性内,实现线上文本的挖掘。实验结果表明,基于LDA模型和语义网络的线上文本挖掘方法不仅可以提高挖掘精度,还具有更强的收敛性。     

基于主题加权LDA模型的情感分类方法

针对LDA(Latent Dirichlet Allocation)主题模型生成的大量topic,很大部分topic内部词语相关度很低,可解释性差,对语言模型后的应用效果带来一定的影响.针对这一问题,该文提出了一种基于主题加权LDA模型的情感分类方法,该模型实现不同主题中内部相关的词语特征加权计算,能够消除不同主题内具有相关度词语的相互影响.实验结果表明,与传统LDA模型分类方法对比,该文提出的基于主题加权LDA模型的情感分类方法平均F1值提高了6.7%～8.1%,验证了该文提出的方法是有效的,提高了分类效果.     

基于信息增益的LDA模型的短文本分类

在基于LDA的短文本分类基础上进行改进,提出信息增益结合LDA的短文本分类方法.该方法采用信息增益计算词汇对于文本分类的贡献度,提高＂作用词＂的权重,过滤掉＂非作用词＂,最后对过滤后的短文本进行LDA主题建模,并采用中心向量法建立文本类别模型.实验证明,该方法随着作用词比例的减少,分类性能有较大的提高.     

基于信息增益的LDA模型的短文本分类

在基于LDA的短文本分类基础上进行改进,提出信息增益结合LDA的短文本分类方法.该方法采用信息增益计算词汇对于文本分类的贡献度,提高＂作用词＂的权重,过滤掉＂非作用词＂,最后对过滤后的短文本进行LDA主题建模,并采用中心向量法建立文本类别模型.实验证明,该方法随着作用词比例的减少,分类性能有较大的提高.     

基于LDA的文本分类算法

LDA可以实现大量数据集合中潜在主题的挖掘与文本信息的分类,模型假设,如果文档与某主题相关,那么文档中的所有单词都与该主题相关.然而,在面对实际环境中大规模的数据,这会导致主题范围的扩大,不能对主题单词的潜在语义进行准确定位,限制了模型的鲁棒性和有效性.本文针对LDA的这一弊端提出了新的文档主题分类算法gLDA,该模型通过增加主题类别分布参数确定主题的产生范围,提高分类的准确性.Reuters-21578数据集与复旦大学文本语料库中的数据结果证明,相对于传统的主题分类模型,该模型的分类效果得到了一定程度的提高.     

基于卡方检验的Android恶意应用检测方法

移动终端爆发式增长造成了恶意应用的大量出现,给用户的隐私安全和财产安全带来了巨大的危害.为提高Android应用恶意性检测的准确性,本文将卡方检验与基尼不纯度增量相结合获取更有价值的特征属性;并改进朴素贝叶斯算法提高Android应用恶意性判断的准确性.实验结果表明:新的特征处理方法能够有效提高检测性能;同时,改进后的朴素贝叶斯算法相比原始算法而言准确率有较大的提升.      

基于LDA模型的WEB文本分类

提出了基于LDA（Latent Dirichlet Allocation）主题模型的Web文本分类方法,利用MCMC方法中的Gibbs抽样获得模型参数从而获取词汇的概率分布,使隐藏于WEB文本内的不同主题与WEB文本字词建立关系。将LDA算法应用于WEB文本分类识别领域,在实验中与k均值聚类和贝叶斯网络方法进行了对比,其结果表明LDA与其他同类算法相比具有一定的优势。     

基于扩展的情感词典和卡方模型的中文情感特征选择方法

根据经典的特征选择方法在中文情感评论文本中应用的缺陷和不足,提出了一种改进的中文情感特征选择方法.目前,现有的情感特征选择方法普遍只利用了特征项在褒贬类中的统计信息,忽略了情感极性值对特征选择的影响;同时情感文本中否定词会带来特征项情感极性反转的情况,为特征选择带来较大的负面影响.针对这些问题,首先对情感文本中的否定词进行了检测和判定,对否定词界定范围内的情感特征词进行反义变换处理,有效的解决了情感文本中极性反转的问题.同时还将特征项的情感极性值和其在类中的频率特点两个因素融入到卡方特征选择模型(CHI)中,从而提升了卡方模型在文本情感特征选择的效果.实验结果表明,本文算法较其他算法在多个领域数据集上的情感分类准确率提高了1.5%左右.     

一种改进的LDA主题模型

由于文档中的词符合幂律分布,使得LDA模型的主题分布向高频词倾斜,导致能够代表主题的多数词被少量的高频词淹没使得主题表达能力降低.通过一种高斯函数对特征词加权,改进LDA主题模型的主题分布.实验显示加权LDA模型获得的主题间的相关性以及复杂度(Perplexity)值都降低,说明改进模型在主题表达和预测性能方面都有所提高.     

一种并行LDA主题模型建立方法研究

针对潜在狄利克雷分析(LDA)模型分析大规模文档集或语料库中潜藏的主题信息计算时间较长问题,提出基于MapReduce架构的并行LDA主题模型建立方法.利用分布式编程模型研究了LDA主题模型建立方法的并行化实现.通过Hadoop并行计算平台进行实验的结果表明,该方法在处理大规模文本时,能获得接近线性的加速比,对主题模型的建立效果也有提高.      

基于LDA模型的网络刊物主题发现与聚类

随着智能终端的普及,文本的主题挖掘需求也越来越广泛,主题建模是文本主题挖掘的核心,LDA生成模型是基于贝叶斯框架的概率模型,它以语义关联为基础,很好地解决了文本潜在主题的提取问题。对文本聚类过程的核心技术LDA生成模型、数据采样、模型评价等作了较为深入的阐述和解析,结合网络教育平台的2 794篇学习刊物进行了主题发现和聚类实验,建立了包含3 800个词项的词库,通过kmeans算法和合并向量算法(UVM)分两步解决了主题聚类问题。提出了文本挖掘实验的一般方法,并对层次聚类中文本距离的算法提出了改进。实验结果表明,该平台刊物的主题整体相似度比较好,但主题过于集中使得许多刊物的内容不具有辨识度,影响用户对主题的定位。     

基于主题情感混合模型的无监督文本情感分析

针对有监督、半监督的文本情感分析存在标注样本不容易获取的问题, 通过在LDA模型中融入情感模型, 提出一种无监督的主题情感混合模型(UTSU模型)。UTSU模型对每个句子采样情感标签, 对每个词采样主题标签, 无须对样本进行标注, 就可以得到各个主题的主题情感词, 从而对文档集进行情感分类。情感分类实验对比表明, UTSU模型的分类性能比有监督情感分类方法稍差, 但在无监督的情感分类方法中效果最好, 情感分类综合指标比ASUM模型提高了约2%, 比JST模型提高了约16%。     

基于LDA主题模型的文献特征项多重共现可视化方法

文献计量学是运用数学和统计学方法对文献知识单元进行定量分析、揭示文献内部知识内容的一门科学。共现网络分析是文献计量研究中分析文献特征项数据关系的一种可视化方法,根据被分析特征项的数量分为单重共现网络分析和多重共现网络分析。与单重共现网络分析相比,多重共现网络分析增加了特征项的维度,对文献知识的呈现更加深入。但是,由于被分析特征项维度的增加,导致共现网络中的节点数量增多,节点间连线重合度和交叉频率过大,降低了文献计量可视化的效果。因此,目前文献计量共现网络分析主要以单重共现为主,多重共现网络分析可视化效果尚有待提升。为解决多重共现网络中节点过多、连线密度过大、不利于发现数据价值以及可视化效果较低等问题,引入LDA主题模型,采用空间划分的方法,将特征项全域可视化的问题转化为子空间可视化问题。首先,使用SATI文献题录信息分析软件抽取文献关键词,进行TF-IDF计算,以计算结果作为实验数据;其次,使用Python构建主题模型,对目标文献集合进行主题聚类分析;最后,使用Ucinet软件对不同主题子空间文献进行多重共现分析,并将子空间分析结果叠加和重构,完成多重共现可视化系统的结构化表达。结果表明：与原多重共现可视化方法相比,在内容呈现等价的前提下,基于LDA主题模型的多重共现可视化改进方法由于缩小了多重共现网络分析系统的规模,即子空间文献数量与特征词数目,因而降低了共现网络中的节点数量和节点间连线密度,使得多重共现可视化系统的结构更为清晰,增加了数据的可读性,突出了数据价值,有效提升了多重共现可视化效果。因此,多重共现可视化改进方法在一定程度上可以推进文献构成元素在多重组合知识挖掘方面的深入研究,提高不同领域文献计量的实证研究质量。