基于双向主题模型的协同过滤算法*

主题模型可以学习用户和推荐项目的潜在主题分布。提出了一种基于双向主题模型的协同过滤算法,分别学习用户和推荐项目的潜在主题分布用于推荐服务。在真实的数据集上实验验证,该算法的性能均优于几个经典的协同过滤算法。     

一种并行LDA主题模型建立方法研究

针对潜在狄利克雷分析(LDA)模型分析大规模文档集或语料库中潜藏的主题信息计算时间较长问题,提出基于MapReduce架构的并行LDA主题模型建立方法.利用分布式编程模型研究了LDA主题模型建立方法的并行化实现.通过Hadoop并行计算平台进行实验的结果表明,该方法在处理大规模文本时,能获得接近线性的加速比,对主题模型的建立效果也有提高.      

基于快速置信传播算法的并行主题建模方法研究

基于OpenMP技术提出并行置信传播算法,在多核服务器上通过共享内存的方式快速推断潜在狄利克雷分布(LDA)主题模型的参数,建立文本中不同主题与文本表面单词之间的联系.利用Enron和Wikipedia数据集,通过3组实验对比了传统吉布斯算法和并行置信传播算法的运行效果.结果表明,并行置信传播算法能够快速推断LDA模型参数,高效处理大规模数据,比传统吉布斯采样算法具有更高的精度.     

基于专利引用和文本信息的自动驾驶技术演化

通过分析自动驾驶技术领域专利的引用信息和文本信息,结合社区发现、LDA（latent Dirichlet allocation）主题建模、主路径分析方法,针对自动驾驶专利数据集的特点建立分析框架进行自动驾驶技术演化分析。应用上述方法可以有效识别自动驾驶技术领域的主题分布,弥补传统单一方法不能反映技术全貌的缺陷。我国需重点突破多源传感器融合感知、复杂环境智能决策控制、车路协同、人机交互等关键技术;在测试和自动泊车技术上处于技术领先;在定位、高精度地图、执行机构、运动控制、硬件计算平台技术上处于技术跟随。     

基于LDA主题模型的维吾尔语无监督词义消歧

维吾尔语是典型的资源稀缺型语言,由于词义消歧标注语料资源和语义分析工具的不足,导致传统的有监督方法难以实现.针对该问题,将篇章文本的词义消歧问题类比为文本主题分类问题,在LDA(latent Dirichlet allocation)主题模型的基础上提出了一种维吾尔语无监督词义消歧模型.为强化主题模型对歧义词语义项的分类性能,加入了3个数据预处理过程:去除停用词,过滤有效词和强化同义词词频权重.实验结果表明,在随机抽取的63组测试样本集中,该模型的词义消歧准确率达到65.08%,在篇章文本采样词任务中词义消歧准确率达到61.2%.     

基于LDA与注意力机制BiLSTM的微博舆情分析模型

为对网络舆情数据进行主题挖掘与情感分析,以微博某单位招聘热点事件的舆情演变为研究对象,提出了一种融合主题模型和情感分析的LDA-Attention-BiLSTM模型。运用Python的Scrapy框架爬取该事件文本评论。采用隐含狄利克雷分布(LDA)模型实现了主题识别。使用基于注意力(Attention)机制的双向长短期记忆(BiLSTM)网络进行文本情感分析。研究结果表明,构建的基于LDA与Attention机制BiLSTM的混合模型能够反映舆情中的热点话题与情感时序变化,揭示事件爆发的主要原因,事件传播阶段的主要话题与事件的处理结果等。     

基于LDA模型的高校论坛热点提取系统

针对论坛缺乏热点话题提取方法的现状,提出一种将LDA(潜在狄利克雷分配)模型引入高校论坛场景主题的提取方式.在主题建模过程中,以回帖数量作为帖子热门程度的判定参数,根据帖子热门程度在语料中设置不同权重,随后使用Gibbs采样法提取主题.在此基础上设计并实现了包含数据抓取、文本预处理、主题提取三个模块的完整系统.将LDA模型引入系统并进行提取效果分析,实验结果表明LDA模型可以准确地提取出论坛文本中讨论的实时热点话题.     

结合主题模型的中国古代诗人大五人格预测

诗歌作为一种重要的文学体裁体现着古代诗人的人格特征。目前研究主要基于现代语言的数据集进行人格分析,缺少对于古人的相关分析任务,影响数字人文领域研究进程和古代诗人的画像构建。因此,本文开展对于古代诗人进行人格特征分析的研究,并以大五人格理论为标注标准,构建了一个针对古代诗人的大五人格数据集,该数据集包括了581位唐宋两代著名诗人,参考现有的文学评论,对其宜人性、外倾性、神经质、开放性和尽责性进行标注。在此数据集上将语言模型与深度学习模型相融合,基于交叉熵损失函数进行人格特征等级的学习,提出了基于主题增强的大五人格特征预测模型。实验结果表明,准确率达到了0.71,证明所提出的数据集和模型对古代诗人人格特征分析和建模研究有着良好的促进效果。     

基于增量式模糊聚类算法的文本挖掘

针对传统模糊聚类算法需要预先确定初始隶属度矩阵的问题,该文提出了基于增量式模糊聚类算法(Incremental fuzzy clustering algorithm, FCLDA)的文本挖掘方法。首先根据文本集中关键词出现次数进行排序,优先选择出现次数多的关键词作为文本集的主题,然后利用隐含狄利克雷分布(Latent Dirichlet allocation, LDA)主题模型构建文档-主题概率分布组成矩阵,将该矩阵作模糊C均值聚类(FCM)算法的隶属度矩阵,并对隶属度矩阵的隶属度值增加一个权值,在FCLDA算法迭代过程中,采用模糊信息熵作为聚类数确定的标准,增加主题词,当模糊信息熵达到最小值时,聚类数确定下来,最后将FCLDA算法应用到网页的文本挖掘中,结果试验表明,相对于FCM算法和K最近邻(K-nearest neighbor)算法,FCLDA算法的运行聚类结果准确率更高,运行速度加快,更适合处理具有模糊性的文本。     

基于改进LDA的社会化标签主题识别方法

针对社会化标签中资源之间存在独立同分布特性,并且其对应的标签资源作为资源内容的特殊语义内容,提出一种联合特征词加权-LDA(Joint Feature Word Weighting-LDA)在资源内容和标签下联合主题识别方法,从而解决资源存在的独立同分布特性以及特征词采样等问题.首先建立评论及对应标签资源在信息熵相似度...     

基于LDA的中文词语相似度计算

针对基于语料库统计的词语相似度计算方法存在的一些缺陷,如：计算量大、向量的特征维度高、特征稀疏、忽略了词语的语义信息等,提出了一种基于latent Dirichlet allocation（LDA）的词语相似度计算方法,通过将词语的特征向量映射为词语的主题分布来计算词语间的相似度;通过与基于《知网》的词语相似度计算方法的对比,证明了该方法能有效降低特征维度,并具有较好的词语相似度计算效果。     

基于MapReduce的并行LAD模型评论主题提取算法研究

针对传统的潜在狄利克雷分析(LDA)模型在提取评论主题时存在着计算时间长、计算效率低的问题,提出基于MapReduce架构的并行LAD模型建立方法.在文本预处理的基础上,得到文档-主题分布和主题-特征词分布,分别计算主题相似度和特征词权重,结合k-均值聚类算法,实现评论主题提取的并行化.通过Hadoop并行计算平台进行实验,结果表明,该方法在处理大规模文本时能获得接近线性的加速比,对主题模型的建立效果也有提高.     

基于综合信息的汛期库水位实时动态控制方法

以提高洪水资源利用率为目标,研究利用实时水雨工情及短期雨洪预报等综合信息的汛期库水位实时动态控制方法,即改进的预蓄预泄法.应用实例表明,在不降低水库上下游防洪标准的前提条件下,可使桓仁水库及梯级库群的发电效益明显增加.该综合信息的汛期库水位实时动态控制方法,对北方水资源短缺地区调节性能较高的大型水库(水电站)汛期实时调度,有较好的借鉴意义.     

一种基于词语搭配的语义消歧方法

提出一种利用规则与统计相结合的方法用于英汉机译系统中以消解语义级歧义 ,建立了一种根据单词之间的词语搭配关系以消除歧义的模型。该模型利用英汉双语语料选择合理的词组语义 ,对有歧义的单词作出标注。在此基础上给出了语义消歧的学习算法 ,并建立了一套有效的提高召回率的消歧算法。算法在英汉机译系统中的实际应用使正确率提高了约 10 % ,效果显著。     

基于深层特征抽取的日文词义消歧系统

词义消歧的特征来源于上下文.日文兼有中英文的语言特性,特征抽取更为复杂.针对日文特点,在词义消歧逻辑模型基础上,利用最大熵模型优良的信息融合性能,采用深层特征抽取方法,引入语义、句法类特征用于消解歧义.同时,为避免偏斜指派,采用BeamSearch算法进行词义序列标注.实验结果表明,与仅使用表层词法类特征方法相比,本文构造的日文词义消歧系统的消歧精度提高2%～3%,动词消歧精度获得5%的改善.     

基于转换的无指导词义标注方法

词义标注是自然语言处理的难题之一。该文提出用于文本词义标注的转换规则自动获取算法及相应的词义排歧算法。该算法用可能的句法关系对语境进行限制,减少了训练数据中的噪音; 为提高学习算法的速度,提出利用预排序方法减少规则搜索次数,以及只调整变化部分数据的计算方法; 并给了改善召回率的词义排歧算法。在近５ 万词的语料库上对本算法进行了实验,开放测试的词义排歧正确率为７４３％ 。     

基于LDA主题模型的文献特征项多重共现可视化方法

文献计量学是运用数学和统计学方法对文献知识单元进行定量分析、揭示文献内部知识内容的一门科学。共现网络分析是文献计量研究中分析文献特征项数据关系的一种可视化方法,根据被分析特征项的数量分为单重共现网络分析和多重共现网络分析。与单重共现网络分析相比,多重共现网络分析增加了特征项的维度,对文献知识的呈现更加深入。但是,由于被分析特征项维度的增加,导致共现网络中的节点数量增多,节点间连线重合度和交叉频率过大,降低了文献计量可视化的效果。因此,目前文献计量共现网络分析主要以单重共现为主,多重共现网络分析可视化效果尚有待提升。为解决多重共现网络中节点过多、连线密度过大、不利于发现数据价值以及可视化效果较低等问题,引入LDA主题模型,采用空间划分的方法,将特征项全域可视化的问题转化为子空间可视化问题。首先,使用SATI文献题录信息分析软件抽取文献关键词,进行TF-IDF计算,以计算结果作为实验数据;其次,使用Python构建主题模型,对目标文献集合进行主题聚类分析;最后,使用Ucinet软件对不同主题子空间文献进行多重共现分析,并将子空间分析结果叠加和重构,完成多重共现可视化系统的结构化表达。结果表明：与原多重共现可视化方法相比,在内容呈现等价的前提下,基于LDA主题模型的多重共现可视化改进方法由于缩小了多重共现网络分析系统的规模,即子空间文献数量与特征词数目,因而降低了共现网络中的节点数量和节点间连线密度,使得多重共现可视化系统的结构更为清晰,增加了数据的可读性,突出了数据价值,有效提升了多重共现可视化效果。因此,多重共现可视化改进方法在一定程度上可以推进文献构成元素在多重组合知识挖掘方面的深入研究,提高不同领域文献计量的实证研究质量。     

基于主题特征的Email分类研究

针对基于词语特征的Email分类综合性能（F-score）较低的问题,提出一种基于主题特征的Email分类方法.该方法利用领域知识及统计信息,从Email的词语特征空间中提取主题特征,并利用提取出的主题特征实现Email分类.通过对1080封Email进行分类测试,结果表明,由于主题特征能够更加准确地表达Email的主题思想,因此,与基于词语特征的分类方法相比,该方法在针对Email的全文及标题实现分类时,将平均F-score分别提高了13.16%和17.16%,从而使平均F-score提高到72.37%,基本可以满足实际应用的需求.     

利用BP神经网络的中文词义消歧模型

词义消歧在自然语言处理中一直是一个难点问题,同时,也是很多领域都需要解决的一个重要环节．本文介绍了一种基于BP神经网络和统计方法相结合的有导词义消歧模型,详细讲解了BP神经网络原理;对使用这种混合人工智能的消歧模型的可能性和优越性进行了讨论;通过试验发现实际和预测结果的误差并不随着试验迭代次数而递减,而是实际误差随着次数的增加在零的附近呈现波动状态,即使用很少的迭代次数也可以得到比较好的结果．由此得出,BP神经网络预测模型在词义消歧的中具有良好的应用前景．     

基于情感主题模型的特征选择方法

意见挖掘在企业智能分析、政府舆情分析等领域发挥着重要作用,为了充分挖掘主观性文本所蕴含的商业价值和社会价值,提出了一种基于情感主题模型的特征选择方法。该方法重点考察极性词及其共现现象,采用主题模型挖掘出正面褒义主题和负面贬义主题中极性词的分布情况,旨在度量情感特征在情感倾向表达中的重要性。实验阶段结合支持向量机分类器进行分析。实验表明该特征选择方法能有效提高跨领域文本情感分类准确性,具有较好的实用价值。