微博分析研究综述

微博,是当前重要的社会信息传播平台之一,具有易操作、传播快等特点,人们可以通过微博直接快速地表达对突发事件、公众人物、热门产品等的观点。为了利用海量微博信息,需要综合多种分析方法挖掘其潜在价值。综述了当前微博分析领域的研究现状,提出了自主研发的微博分析系统,探讨了未来微博分析的研究方向。首先,介绍了微博分析的主要技术方法,包括利用微博开放平台和利用网络爬虫技术。利用微博提供的开放接口,可以方便快捷地获取微博信息,如微博内容、用户评论、用户个人详情、粉丝数、关注数等。但也存在诸多限制,如每小时只能抓取有限次数、微博平台并不开放所有信息资源等。利用网络爬虫技术可以获取更多信息,如基于全网的网络爬虫的信息采集技术可以覆盖更广的范围,基于主题的网络爬虫的信息采集技术可以选择性爬取预先设定的主题等。其次,介绍了目前微博分析的热点问题,包括微博用户行为和微博内容两方面。微博用户行为分析包括:1)传播网络研究,利用Gephi等可视化工具,呈现出微博在传播过程中的传播路径、传播范围、关键转发节点等信息,可用于预测未来传播情况;2)传播因素研究,通过分析用户行为,揭示信息传播的可能原因;3)用户影响力分析,不同学者给出不同的度量方法,而要精准地评价用户影响力需要综合考虑多方面因素,如粉丝数、转发数、被提及数、回复、社会关系等。关于微博内容的分析包括:1)微博文本预处理,包括分词和去停用词2个步骤;2)微博热点话题发现,常用方法包括基于词频的统计方法和文本聚类方法,这两种方法都有利于提高发现热点话题的效果,但没有考虑到话题动态演变的特性;3)情感分析,也被称为观点挖掘,一直是微博研究领域的热点问题,可以利用微博表情图片抽取情感词,并结合构建语义词典和机器学习的方法对微博进行情感分类,最终判断微博情感极性,可用于舆情监控、商业预测和产品选择等方面。再次,提出了自主研发的微博分析系统——阅微,重点介绍了其情感分析、地域分布和传播图3个模块。情感分析模块,基于情感词典的方法对用户的评论内容进行情感分类;地域分布模块,提取参与用户的地理位置信息并加以统计分析,呈现出微博传播在全国范围内的分布情况;传播图模块,利用可视化手段展现微博信息的传播扩散情况,如转发关系、转发层级、转发范围等情况。最后,归纳全文,从技术和应用2个方面归纳微博分析的挑战问题:可从技术上突破微博接口资源限制,提高微博分析的效率和精准度;同时从微博应用方面发展事件监控、管理和商业方面的应用。     

融合情感特征的深度学习微博情感分析

针对传统情感分析方法对微博短文本应用效果不佳的问题,提出将文本情感特征与深度学习模型融合的微博情感分析新机制.通过词向量计算文本的语义特征,结合基于表情字符的情感特征,利用卷积神经网络挖掘特征集合与情感标签间的深层次关联,训练情感分类器.实验结果表明,相比基于词典的机器学习模型,该机制将情感分析准确率与F度量分别相对提升21.29%和19.20%.该机制结合语义和情感特征,利用卷积神经网络的抽象特征提取能力,改善微博短文本的情感分析精度.     

基于双重注意力模型的微博情感分析方法

微博情感分析是获取微博用户观点的基础。该文针对现有大多数情感分析方法将深度学习模型与情感符号相剥离的现状,提出了一种基于双重注意力模型的微博情感分析方法。该方法利用现有的情感知识库构建了一个包含情感词、程度副词、否定词、微博表情符号和常用网络用语的微博情感符号库;采用双向长短记忆网络模型和全连接网络,分别对微博文本和文本中包含的情感符号进行编码;采用注意力模型分别构建微博文本和情感符号的语义表示,并将两者的语义表示进行融合,以构建微博文本的最终语义表示;基于所构建的语义表示对情感分类模型进行训练。该方法通过将注意力模型和情感符号相结合,有效增强了对微博文本情感语义的捕获能力,提高了微博情感分类的性能。基于自然语言处理与中文计算会议(NLPCC)微博情感测评公共数据集,对所提出的模型进行评测,结果表明:该模型在多个情感分类任务中都取得了最佳效果,相对于已知最好的模型,在2013年的数据集上,宏平均和微平均的F1值分别提升了1.39%和1.26%,在2014年的数据集上,宏平均和微平均的F1值分别提升了2.02%和2.21%。     

基于微博文本的个性化兴趣关注点及情绪变迁趋势研究

随着社交网络的快速发展,人们可利用微博平台发表、分享自己的观点以及抒发某种情绪,进而产生了大量针对不同话题的博文和情绪信息,但传统的文本挖掘算法在处理这些短小且具富含个性化情感信息的微博文本方面有所欠缺。在此提出一种基于微博文本的特征权重计算方法,可据此得到博主在不同时间段的关注点,通过情绪分类,分析用户在不同时间段内的情绪变迁情况。实验结果证明此方法具有一定的可行性。     

基于语义分析的微博搜索

提出构建基于语义分析的微博搜索以帮助用户从海量的、书写通常不规范的微博中有效地获取信息。和现有的微博搜索引擎不同,基于语义分析的微博搜索利用一系列的自然语言处理和文本挖掘模块从微博中获取各类兴趣点,例如命名实体、事件、情感等。这些兴趣点进一步被索引,以支持分类浏览和高级搜索。本文讨论了微博语义搜索所面临的挑战及对策,介绍了一种参考实现框架及相关的语义分析技术,特别是面向微博的语义角色标注技术。     

基于语义分析的微博搜索

提出构建基于语义分析的微博搜索以帮助用户从海量的、书写通常不规范的微博中有效地获取信息。和现有的微博搜索引擎不同,基于语义分析的微博搜索利用一系列的自然语言处理和文本挖掘模块从微博中获取各类兴趣点,例如命名实体、事件、情感等。这些兴趣点进一步被索引,以支持分类浏览和高级搜索。本文讨论了微博语义搜索所面临的挑战及对策,介绍了一种参考实现框架及相关的语义分析技术,特别是面向微博的语义角色标注技术。     

微博产品评论的情感倾向性分析方法

提出一种微博平台上的产品评论情感倾向性分析方法,对特定语料库的产品特征词的词性进行分析,得到特征词的词性重要程度顺序;以情感词典识别的情感词为起点,提出一种依据词性重要程度的"特征观点对"识别规则,并依据该规则进行语义倾向的情感计算。实验结果表明,该方法在产品特征抽取及语义倾向的判断上具有较好的结果。结合微博的转发数和评论数,进行用户观点分析,计算用户对产品的认可度,挖掘产品属性的优缺点,实证分析证明这种方法的可行性。     

基于用户特征的微博转发预测研究

研究微博用户转发行为,预测微博转发概率,确定影响微博转发概率的因素,在热点挖掘、产品营销、舆情监控、谣言控制等方面有重要的现实意义.本文介绍了影响微博转发的用户特征,其中比较典型的有用户影响力、粉丝平均标签数、粉丝活跃度等特征.通过粉丝数-关注数算法、用户标签数算法、粉丝活跃度算法等分析了它们与微博转发之间的关联关系,并确定各个属性的阈值,这些阈值对微博转发预测起到了至关重要的作用.     

基于双重注意力模型的微博情感倾向性分析

在现有的微博情感倾向性分析任务中,微博标签往往被视为噪声信息,在数据预处理阶段就被剔除.但微博标签蕴含着微博内容的关键信息,所以标签的剔除对于微博的情感倾向性分析是不利的.针对该问题,充分考虑微博的文本特点,提出一种基于双重注意力的情感分析模型.采用Bi-LSTM(Bi-directional Long Short-Term Memory)分别构建微博文本和微博标签的语义表示,采用双重注意力机制同时对微博的正文层和微博的标签层进行语义编码,提取出文本中的关键信息.最后,基于所构建的语义表示训练情感分类模型.实验结果表明,该模型在微博情感倾向性分析上取得了较好的效果.     

股市情感词典自动构建与优化

为了更好地挖掘投资者情绪,解决在股市文本情绪分析过程中,现有情感词典构建方法自动化程度低、行业特异性不足和精确度不足等问题。在构建基本情感词典的基础上,Word2vec对自动添加的高频情感词语进行极性判断与赋值,并将情感词典构建改为优化问题,采用改进模拟退火算法对情感词典的词语分值进行优化,提高股市情感词典性能。实验结果表明:该方法所构建的股市情感词典可以有效识别股市文本情绪,提升文本覆盖率,具有更强的行业特异性,提升情绪分析准确性,可更好用于投资者情绪相关研究。     

面向新浪微博的情感社区检测算法

面向社交网络的情感社区检测,可应用于公共健康、舆情监测等领域.以新浪微博为平台建立一种情感社区检测框架,首先融合微博情感表情特征和情感词典,提出基于朴素贝叶斯算法的半词典半表情(naive Bayes based semi-lexicon and semi-emoji,SL-SE-NB)分类模型以实现对文本的情感极性预测;提出一种基于潜在狄利克雷分配(latent Dirichlet allocation,LDA)话题模型的用户-超话题-关键词(user-topic-keywords,UTK) 模型抽取用户话题;基于标签传播算法(label propagation algorithm,LPA)并加入话题概念,提出基于种子集与最小边介数的标签传播情感社区发现算法(label propagation algorithm based seeds and min-edge betweenness,SMB-LPA).最后通过实验验证了所提出算法的有效性和高效性.     

空间交互视角下投资者情绪对股价的影响

从地理距离和利用消耗系数衡量的经济距离两个方面构建空间权重矩阵反映空间交互作用,从股票空间交互视角应用空间计量模型研究投资者情绪对股票价格的影响效应.研究发现,金融市场股票间存在显著空间交互作用,且空间交互作用对经济距离的敏感程度高于地理距离.在解释投资者情绪对股票价格的影响效应方面空间截面回归模型优于传统截面回归模型.研究结论提醒投资者在对资产进行定价和制定交易决策的过程中,必须充分认识潜在的空间交互作用.     

A Comparative Analysis on Weibo and Twitter

Weibo is the Twitter counterpart in China that has attracted hundreds of millions of users. We crawled an almost complete Weibo user network that contains 222 million users and 27 billion links in 2013. This paper analyzes the structural properties of this network, and compares it with a Twitter user network. The topological properties we studied include the degree distributions, connected components, distance distributions, reciprocity,clustering coefficient, Page Rank centrality, and degree assortativity. We find that Weibo users have a higher diversity index, higher Gini index, but a lower reciprocity and clustering coefficient for most of the nodes. A surprising observation is that the reciprocity of Weibo is only about a quarter of the reciprocity of the Twitter user network. We also show that Weibo adoption rate correlates with economic development positively, and Weibo network can be used to quantify the connections between provinces and regions in China. In particular, point-wise mutual information is shown to be accurate in quantifying the strength of connections. We developed an interactive analyzing software framework for this study, and released the data and code online.     

A Recommendation Mechanism for Web Publishing Based on Sentiment Analysis of Microblog

Microblog is a social platform with huge user community and mass data. We propose a semantic recommendation mechanism based on sentiment analysis for microblog. Firstly, the keywords and sensibility words in this mechanism are extracted by natural language processing including segmentation, lexical analysis and strategy selection. Then, we query the background knowledge base based on linked open data(LOD) with the basic information of users. The experiment result shows that the accuracy of recommendation is within the range of 70%-89% with sentiment analysis and semantic query. Compared with traditional recommendation method, this method can satisfy users’ requirement greatly.     

融合图卷积神经网络的文本情感分类

文档级别情感分类旨在预测用户对评论文本的情感极性标签。最近研究发现,利用用户和产品信息能有效地提升情感分类性能,然而,现有大多数研究只关注用户与评论、产品与评论的信息,忽略了用户与用户、产品与产品之间的内在关联,因此,本文提出一种融合图卷积神经网络的文本情感分类模型。首先,根据数据集构建了用户与用户关系图、用户与产品关系图;然后,融合两种关系图形成异质图,并使用图卷积神经网络学习用户与用户、产品与产品之间的内在联系,获得更好的用户和产品表示;最后,使用融合CNN的用户注意力和产品注意力机制的分层网络进行情感分类。实验结果表明,在公开数据集IMDB、Yelp2013和Yelp2014上,本文提出的模型能取得较好的分类效果。     

基于Bert股吧舆情分析的特征融合股价走势预测研究

传统股价预测模型往往只考虑时序性数据且局限于模型自身机制,而忽略舆情对股价的影响,导致预测精度不高,针对该问题,提出基于 Bert 股吧舆情分析的特征融合预测模型对股价收盘价进行涨跌幅预测。 首先,采用Bert 自然语言处理对股吧舆情以及公司公告政策进行情感分类,并转化为虚拟变量,构建金融舆情情感特征库;然后将金融舆情特征库和时序性数据合并构建特征融合矩阵;最后输入长短期记忆网络模型(LSTM)进行股价收盘价预测,并得出股价的涨跌结果。 以华银电力(600744. SH)为例进行实证分析,实验结果表明:引入股票情感特征后的模型,得到的股价走势准确率上升了 8. 63%,预测收盘价的回归指标 FMAPE FRMSE 分别下降了 23. 59%、22. 9%,R2 提高了 8. 11%,证明引入新的舆情情感特征在实际预测中能提高股价预测的准确率,可以作为精准预测股价走势的手段。     

基于本体的数据挖掘在CRM决策分析中的应用研究(英文)

电子商务客户关系管理中,实现基于语义层面上的挖掘是提高用户数据挖掘质量的一个关键性问题,本文融合了本体和数据挖掘技术,提出了基于本体的数据挖掘决策分析模型,利用基于本体的数据挖掘方法从语义层面上实现了对用户数据的挖掘,实现了用户数据的高效率和高精度挖掘,并根据挖掘结果进行决策分析,根据分析结果为用户提供基于RSS聚合的个性化服务.     

应用时间滑动窗口模型的轨迹相似性研究

针对社交网络用户个人信息难以获取、公开信息不完整、不通用甚至内容虚假的问题，选择了普适性强，且能客观、真实反映用户行为习惯的位置数据作为相似性分析依据，对新浪微博、滴滴打车进行位置数据采集，形成两个高价值且具有国内网民特色的数据集作为实验对象.提出了一种基于时间滑动窗口模型的轨迹相似性匹配算法，通过调整时间窗口和位置距离优化算法F值，实现不同网络平台用户的相似性分析.以对新浪微博和滴滴打车的用户位置数据为例进行验证，实验结果证明了地理位置为虚拟身份相似性判断的正相关影响因子，且判断相似性的平均F值超过90%.      

财经新闻对中国股市影响的定量分析

首先采用文本挖掘技术、支持向量回归(support vector regression,SVR)方法将财经新闻内容量化为股市波动的一个影响因子,然后采用计量经济学中多元回归分析方法系统地分析了互联网财经新闻信息对中国股市的影响。主要研究了互联网财经新闻对中国股市的影响强度和影响时长,以及对不同规模的公司影响是否相同等一系列问题。研究发现新闻发布对深市股票的影响力度和持续时间均强于沪市股票;规模较小的公司的股票收益受新闻的影响较大。从而推断出难以量化的互联网财经新闻所包含的信息会在一定的时间内反映在股价中,能够对市场产生冲击。