基于转发图的微博事件主题摘要方法

自动摘要是自然语言处理中研究文本主题提取的重要课题.传统的摘要研究侧重于新闻、Web网页和博客等长文本的主题提取.本文关注以微博为代表的短文本的主题摘要,提出基于图结构的微博主题区域划分方法,并采用LDA方法提取微博热点事件的主题信息.最后,通过可视化方式展现主题内容在微博转发中的变化.     

基于加权主题分布表达的微博文本摘要生成研究

对微博文本的向量化表达及摘要效果的评测问题进行了研究.引入Word2vec模型实现微博文本词语的向量化表达,进而对词向量聚类生成主题词类.计算微博文本到主题词类的隶属度,结合主题词类的权重,生成微博文本的加权主题分布表达.在此基础上划分类簇实现摘要句的提取.基于类簇H指数选出高频词作为标准摘要词集,考察了生成摘要与标准摘要词集中共现词的词频分布,实现对自动摘要效果的评测.实验结果表明,本文提出的方法有助于提升微博短文本集的摘要生成效果.     

基于多特征和Ranking SVM的微博新闻自动摘要研究

提出了面向微博应用的新闻文本自动摘要研究方法.利用互信息对新闻文本中词语和句子之间的语义特征进行计算,根据其关联度对句子进行主题划分,赋予主题句较高的权重,同时从文本中抽取多种组合特征,利用Ranking SVM对句子进行排序,从而得到自动摘要.在NLPCC2015面向微博中文新闻自动摘要评测数据集上进行对比实验,取得了良好效果,证明该方法的有效性.     

基于互信息的文本自动摘要

现有的文本自动摘要技术大多是运用向量空间模型将文本作为一个整体进行处理,忽略了段落及段落之间的关联程度,导致提取的摘要不能够全面反映所包含的主题,针对这一问题,文章提出了基于互信息的文本自动摘要方法。该方法利用互信息对文本中词语、句子及段落之间的关联程度进行计算,依据关联程度将整个文本划分成包含不同主题的较小单元,并针对每一单元运用优化的句子权重计算方法进行主题句提取,然后利用主题句生成文本摘要。实验验证了方法的有效性,在自动摘要提取方面取得了良好效果。     

融合句义特征的多文档自动摘要算法研究

多文档自动摘要研究是自然语言处理领域的关键问题之一,为使抽取的摘要更能体现多文档主题,本文在子主题划分的基础上,提出了一种融合句义特征的句子优化选择方法.该方法基于句义结构模型,提取句义结构中的话题、谓词等特征,并融合统计特征构造特征向量计算句子权重,最后采用综合加权选取法和最大边缘相关相结合的方法抽取摘要.选取不同主题的文本集进行实验和评价,在摘要压缩比为15%情况下,系统摘要平均准确率达到66.7%,平均召回率达到65.5%.实验结果表明句义特征的引入可以有效提升多文档摘要的效果.      

基于主题提取的海量微博情感分析

从海量微博数据中分析公众对某一社会事件的情感倾向具有重要研究意义,而海量微博文本稀疏规模庞大,导致传统方法处理这一任务时面临诸多挑战.提出一种基于主题聚类的海量微博情感分析方法.首先基于高质量微博数据挖掘频繁项集,设定语义相关阈值,筛选重要频繁项集进行谱聚类,得到主题关键词.基于主题关键词对海量微博数据依据语义相关度归类,最后结合情感词典对每类中的微博检索主题关键词前后修饰距离内情感词及否定词,结合表情符号计算微博情感值.在百万规模中文微博上进行实验,证明该方法能准确按主题归类且能有效在该主题上进行情感分类.     

基于句法与主题扩展的中文微博情感倾向性分析模型

微博数据具有微博文本长度不一,文本内容主题发散性,夹杂微博专用符号等特性,需要一种融合句法分析、领域知识、表情符号等多因素的综合建模方法对社会、娱乐、安全等多领域微博进行情感分析. 文章提出了一种面向主题的中文微博情感建模方法,该模型涵盖了数据预处理、句法分析、主题扩展、领域知识、情感词上下文极性调整、表情符号等内容,最后以新浪微博采集数据,选取3个领域主题进行了实验,在特定的实验环境下,得到了较高的分析准确率.      

基于信息内容和用户关系的用户兴趣分类

从微博的内容属性和社交网络的信息传播规律特征出发,将微博文本与用户关注关系结合作为用户兴趣分类的标准,从而使提取的用户兴趣的更加准确、有效。借助建立的用户兴趣分类模型解决用户兴趣分类问题,选取新浪微博作为研究对象,应用LDA算法进行主题提取,应用LibSVM算法进行分类。实验证明,该方法分类时增加了对用户信息的全面性应用,而且与其他方法相比有更高的分类准确率。     

基于主题和预防模型的微博谣言检测

针对微博短文本存在的特征提取困难及微博谣言传播浪费网络资源的问题,提出了基于主题和预防模型的微博谣言检测.对微博进行主题提取,按主题分类后提取基于用户、传播结构、内容三方面的统计特征.将样本与官方谣言子集中的微博进行相似度计算,将其值与传统特征进行特征融合之后作为统计特征进入有监督的机器学习.实验结果表明,相对于传统的有监督机器学习,该方法将微博谣言检测的性能提升了3%左右,同时实现了谣言预防.      

基于词类和搭配的微博舆情文本聚类方法研究

微博是近年出现的新型互联网信息交流平台,它具有主题分散、体量短小、文体自由等特性,它能对社会产生巨大的影响,所以信息监管部门和商业企业对基于微博信息的舆情分析都有迫切需求.提出了基于搭配的文本聚类新方法,该方法先进行微博文本预处理,然后利用词类模型进行自动抽取有效搭配,最后基于有效搭配的模型进行文本聚类.实验证明利用词类文本聚类方法比传统文本聚类方法性能提高6.3%,而本文方法比利用词类文本聚类方法性能提升了16.8%,结果显示了本方法的有效性.     

一种面向微博主题挖掘的改进LDA模型

随着新浪微博用户的不断增长,微博网站成为很多人获取信息的平台.但是微博是一种特殊的文本,其字数受到严格限制,传统的主题模型并不能很好地分析微博的内容.本文提出了一个基于LDA的微博生成模型RT-LDA来解决微博字数受限的问题.模型采用吉布斯抽样法来推导,不仅能准确地挖掘每条微博的主题,还能归纳出用户关注的主题分布情况.在真实数据集上的实验表明,RT-LDA模型能很好地对微博进行主题挖掘.     

基于向量空间模型的自动摘要冗余处理研究

随着信息技术的发展,互联网上的文本信息呈爆炸式增长,文本自动摘要技术成为目前研究的热点。文章提出一种基于向量空间模型的自动摘要冗余处理方法,该方法首先根据统计信息进行粗摘要提取,然后利用向量空间模型对粗摘要进行冗余处理;实验结果表明,该方法提取的摘要不受领域知识限制,有效去除冗余,能更好地反映文档内容。     

基于事件时序关系的自动摘要抽取

由于文本中事件之间的时序关系可以帮助人们更好地理解文本内容,故针对新闻报道类文本,将事件作为其基本语义单元,并根据时序关系建立事件有向网络文本表示模型;利用PageRank算法结合主题相关度对时序网络进行节点重要度计算及调整;最后,按照重要度以及事件发生的顺序进行排序,并按照一定的压缩比提取摘要句,删除冗余的句子,将事件对应的原语句作为摘要。实验结果表明,基于事件时序关系的自动摘要方法效果较好。     

文本自动摘要提取算法

摘要是对文本内容的概括,在信息检索中起着重要的作用,提出一种文本自动摘要提取算法：按照词语权重提取出能表征文本主要内容的特征词,根据句子的物理信息以及句子中包含的特征词情况计算出句子的权重,按照句子权重大小等提取出候选摘要句.     

社交网络中的用户转发行为预测

以新浪微博为研究对象,基于微博主题及用户特征,提出社交网络中的用户转发行为预测算法.首先,基于互信息理论,从已发生转发行为的用户的微博内容中提取特征,通过分析给定用户的微博内容与特征之间的相关程度,预测用户是否会对给定主题的微博发生转发行为;然后通过研究用户性别、粉丝数、关注数、微博数与用户转发行为的关系,选取合适的用户特征描述,并基于贝叶斯模型预测给定用户对微博的转发概率.最后,结合以上2种算法的预测结果,得到给定用户对某主题微博的转发行为预测.该预测算法对研究网络舆情传播及微博营销具有重要意义.     

基于文本挖掘的微博文本情绪分析技术研究

该文主要针对中文微博的细粒度情绪识别技术中的关键技术展开研究,分析了中文微博的研究难点和微博情感表达特征,提出了一种微博文本情绪显性特征的多策略集成分析法。最后实验组以新浪微博中某一主题为实验数据,对"乔任梁去世"事件这一热点话题的评论文本数据集进行分析,验证了该文的微博情感分析能力,同时还将情感分析结果进行了可视化展示。     

基于情感语义词典与PAD模型的中文微博情感分析

随着社交网络影响的不断增加,微博作为人类社会交流、发布观点信息的重要载体,其所包含的情感状态具有重要的研究意义。文章通过对微博文本及其包含的情感词汇的分析研究,引入神经网络语言模型和语义向量,结合心理学、情感计算领域相关知识,采用心理学PAD连续维度情感描述模型作为文本情感分析量化的基础,对微博文本所蕴含的情感状态进行分析研究,以获得更加精确的情感分析结果,达到情感分析的目的。同时实现了从个性角度的微博文本情感的可计算性。实验表明,所述方法能较好地提高微博文本情感分析的准确性和精确度,在不同主题不同情感特征中均能够得到很好的应用。     

基于双重注意力模型的微博情感倾向性分析

在现有的微博情感倾向性分析任务中,微博标签往往被视为噪声信息,在数据预处理阶段就被剔除.但微博标签蕴含着微博内容的关键信息,所以标签的剔除对于微博的情感倾向性分析是不利的.针对该问题,充分考虑微博的文本特点,提出一种基于双重注意力的情感分析模型.采用Bi-LSTM(Bi-directional Long Short-Term Memory)分别构建微博文本和微博标签的语义表示,采用双重注意力机制同时对微博的正文层和微博的标签层进行语义编码,提取出文本中的关键信息.最后,基于所构建的语义表示训练情感分类模型.实验结果表明,该模型在微博情感倾向性分析上取得了较好的效果.     

基于主题标签和CRF的中文微博命名实体识别

近年来,网络媒体微博的迅速发展,为命名实体的识别研究提供了一种全新的载体.针对中文微博文本短、表达不清、网络化严重等特点,论文提出了一种规则与统计相结合的中文微博命名实体识别方法.该方法首先利用中文微博的主题标签对处理后的数据进行筛选,然后再选取合适的特征模板,并利用条件随机场模型(Conditional random fields, CRF)进行实体识别.为了满足实验要求,该文将传统网页爬虫方法与API接口采集方法相结合进行微博数据采集.实验结果表明,该方法能够有效提高中文微博命名实体的识别效果.     

基于ERNIE-BiLSTM-DPCNN的微博长文本谣言检测

为了实现对于微博长文本谣言的检测,使用ERNIE模型对微博长文本数据使用词嵌入技术实现对文本的向量化,将这些词向量作为BiLSTM-DPCNN模型的输入,利用BiLSTM-DPCNN模型的特性,捕捉句子中的上下文信息和长期依赖关系,最终高效地提取特征并进行分类.数据集通过五折交叉验证方法划分,通过设置多组对比实验,实验结果显示：ERNIE-BiLSTM-DPCNN模型的准确率达到98.52%,高于在同一数据集下的其他同组实验,证明该模型对于微博长文本谣言检测具有较好的效果.