基于半监督学习的微博情感倾向性分析

微博情感倾向性分析通常指对中文微博中每个句子褒义、贬义或者中性的情感进行自动分类。针对微博碎片化和情感类别失衡的特点,在半监督学习reserved self-training方法的框架基础上提取了适用于微博情感分类的文本特征,并提出了针对情感倾向性分析通过训练度阈值设定的方法来优化reserved self-training迭代终止的条件,在保留reserved self-training能有效处理微博语料中语料情感不平衡问题的优点基础上,防止了训练过度情况的发生。COAE 2014微博情感倾向性评测结果证明了该方法的有效性。     

基于模糊理论的场景图像情感语义标注方法研究

电子技术和成像技术的发展导致数字图像迅速增长,依靠先进的技术提取图像蕴含的情感语义并对其自动标注正是当前各行业急需解决的问题。为此提出了一种基于模糊理论的场景图像情感语义标注方法,通过计算模糊隶属度描述图像的情感程度,使用Adaboost算法和RBF神经网络实现,解决了图像自动标注中的语义模糊问题。使用百度图片频道上下载的869张场景图像进行训练和测试,实验通过与人工标注结果相比较,取得了良好的标注效果,可为更多类型的图像情感自动标注打好基础,具有一定的实用价值。     

基于λ-主动学习方法的中文微博分词

由于面向中文微博的分词标注语料相对较少,导致基于传统方法和深度学习方法的中文分词系统在微博语料上的表现效果很差。针对此问题,该文提出一种主动学习方法,从大规模未标注语料中挑选更具标注价值的微博分词语料。根据微博语料的特点,在主动学习迭代过程中引入参数λ来控制所选的重复样例的个数,以确保所选样例的多样性;同时,根据样例中字标注结果的不确定性和上下文的多样性,采用Max、Avg和AvgMax这3种策略衡量样例整体的标注价值;此外,用于主动学习的初始分词器除使用当前字的上下文作为特征外,还利用字向量自动计算当前字成为停用字的可能性作为模型的特征。实验结果表明:该方法的F值比基线系统提高了0.84%~1.49%,比目前最优的基于词边界标注(word boundary annotation,WBA)的主动学习方法提升效果更好。     

结合主动学习和自动标注的评价对象抽取方法

提出了结合主动学习和自动标注的评价对象抽取方法。具体实现过程中,首先,利用少量的已标注样本训练分类器,对非标注样本进行测试,获取自动标注结果及其置信度:其次,通过置信度计算每个样本的整体置信度,挑选出低置信度即不确定性高的样本待标注:最后,对待标注样本中置信度低的词语进行人工标注,而置信度高的部分则采用自动标注结果。实验表明,该方法可以在确保抽取性能的同时有效地减小人工标注语料的开销。     

基于增强字向量的微博观点句情感极性分类方法

针对微博观点句识别及情感极性分类任务,提出了基于增强字向量的微博观点句情感极性分类方法.使用单字作为句子表示的基本单元,同时在单字中嵌入了该字所在的词信息以及该词的词性信息,以此训练得到字向量替代传统的词向量融合的句子表示方法.使用基于K-means的方法对向量化的句子进行情感判别,仅需要对文本进行分词和词性标注,无需额外的语言学资源.在COAE2015任务2的微博句子数据集上进行测试,取得了较好的结果.     

基于主观强度Bootstrapping优化的微博观点句识别

微博观点句识别对于情感分类、舆情调查等具有重要的作用,为了尽量减少训练语料的标注工作,文章提出一种主观强度Bootstrapping优化的方法来识别微博观点句。首先,采用优势率和独立主观表达能力计算主观性特征的主观强度,再结合其在测试集微博句子中的权重信息计算微博句子的主观强度并进行排序;然后,进行Bootstrapping优化,以训练集中主客观句子特征分布的相对熵作为阈值将排序序列中置信度高的主客观句子分别加入到训练集中,重新训练主观性特征的主观强度,迭代进行直至不再有新句子加入。实验结果表明,本方法具有一定的可行性和有效性,Bootstrapping过程的引入可以极大优化观点句识别的结果。     

基于HMM的蒙古文自动词性标注研究

描述了基于统计的蒙古文自动词性标注系统的功能和总体结构,并对系统的性能进行测试.以规模为95万词的语料库作为训练语料,对5万词的测试文本进行一级词性标注,结果表明封闭测试和开放测试的准确率分别达到96.96%和96.79%     

微博情感分析综述

大数据时代下,微博作为一个开放性的信息传播平台吸引了众多的网民参与其中,与之相关的研究也得到了广泛的开展。本文将微博情感分析任务分为3步:微博语料的获取与预处理、情感特征的标注与选择、主观文本的情感分类。在主观文本分类中,将情感分类分为基于规则的方法和基于机器学习的方法。最后对当前中文微博的情感分析现状做了总结,并阐述了当前微博情感分类还需亟待解决的一些问题。     

基于层叠条件随机场的微博商品评论情感分类

商品评论是消费者针对某一个商品的主观议论。针对微博中商品的评论文本短小、结构多样等特征,在仅使用现有的微博级情感标注的条件下,提出了一种基于层叠条件随机场模型。以中文小句中枢说为理论基础,将商品评论的句子划分为若干小句,使用微博内小句序列的各种特征训练粗粒度的随机条件场情感分类模型,同时使用小句内汉字序列的各种特征来训练细粒度的随机条件场情感分类模型。实验结果表明,本文提出的方法优于传统的情感分类方法。     

基于条件随机场模型和文本纠错的微博新词词性识别研究

针对微博数据特点,采用降噪算法和条件随机场模型对微博数据进行词性标注,并对其中比重较大的谐音词使用贝叶斯方法进行词性二次纠正.首先利用新浪平台API和爬虫获取原始微博数据,再根据噪音特点人工制定规则进行降噪.由于条件随机场在中文词性标注中特征提取的优势,使用条件随机场模型对降噪后的微博语料词性标注.在此基础上,利用微博语料中谐音词比重较大的特点,将微博词语转化为拼音,根据贝叶斯方法计算得到谐音词的原生词候选,再根据词语的上下文建立谐音词和原生词映射,并利用原生词的词性已知的性质,对谐音词进行词性纠错.实验结果表明,该方法可以较好地标注微博未登录词,词性标注准确率达到95.23%.     

基于词向量的情感新词发现方法

词语级的情感倾向性分析一直是文本情感计算领域的热点研究方向,如何自动识别情感新词,并判断其情感倾向性已经成为当前亟待解决的问题。首先用基于统计量的方法识别微博语料中的新词,然后利用神经网络去训练语料中词语的词向量,从语料自身挖掘出词与词之间的相关性,最后提出了基于词向量的情感新词发现方法。实验表明该方法可以有效应用于情感新词发现。     

基于微博表情符号的情感词典构建研究

基于微博表情符号,提出一种自动构建情感词典的方法。 从微博平台抓取大量带有表情符号的微博文本,并依据表情符号对微博文本进行情感倾向标注,生成情感语料库。 对语料库进行分词、去重等预处理工作,根据词性规则抽取微博文本中情感词,统计每个情感词在正向和负向语料库中出现的次数,计算情感词的卡方统计值获得情感强度,根据情感词在正负微博文本中出现的概率判定情感词的倾向性,进而生成情感词典。 这是一种全新的思路。 以人工标注的情感词典为基准数据,实验结果表明,本文方法标注情感词的准确率在80%左右,在情绪词强度阈值θ为20、30时,生成情感词典综合F值最好,达到了82%以上。      

基于语义模式的半监督中文观点句识别研究

大规模和高质量的标注语料是进行监督算法分类器训练的重要前提,而进行大规模的语料标注是一项费时费力的工作,并且针对特定的领域还需要该领域专家的介入.提出一种基于语义模式的半监督中文观点句识别方法,可以通过小规模语料的训练识别出中文观点句.首先,通过语义模型提取算法从训练集当中识别出观点句语义模型和非观点句语义模型;然后,将两种模型转化为语义特征,并且加入词汇特征和词性特征两方面特征,通过BootStrapping对小规模标注语料进行训练,得到朴素贝叶斯分类器;接着,使用朴素贝叶斯分类器对大规模未标注的语料进行分类,将可信度高的样本加入训练模型迭代进行训练,直到无样本加入;最后经过多轮迭代得到最终的分类器.实验表明,该方法在只具备少量样本的情况下就可达到83.7%的准确性,证明了该方法的有效性.     

基于CRF的中文组块分析

提出一种基于条件随机域模型的方法用于中文文本组块分析. 该方法将中文组块分析转化为对每个词语赋予一个组块标注符号, 再根据条件随机域对标注好的训练语料建立模型, 从而预测测试语料中每个词语的组块标注符号. 使用北京大学中文树库的测试结果为F₁=85.5%, 高于隐马尔可夫模型和最大熵马尔可夫模型. 实验结果表明, 条件随机域在中文组块识别方面有效, 并避免了严格的独立性假设和数据归纳偏 置问题.     

结合原型网络的远程监督命名实体识别方法

针对利用远程监督标注文本实体过程中存在实体类别标注错误问题导致模型难以有效区分各实体的类别特征，影响模型精准度的问题，本文提出一种利用原型网络过滤训练语料中标注错误样本的远程监督命名实体识别方法，利用预训练的原型网络编码正确标注实体生成类别原型表示，过滤语料中距类别原型较远的样本.实验表明，使用原型网络有效地提高了语料的标注质量，提升了模型性能.     

面向非结构化文本的开放式实体属性抽取

从非结构化文本中抽取给定实体的属性及属性值,将属性抽取看作是一个序列标注问题.为避免人工标注训练语料,充分利用百度百科信息框(Infobox)已有的结构化内容,对非结构化文本回标自动产生训练数据.在得到训练语料后,结合中文特点,选取多维度特征训练序列标注模型,并利用上下文信息进一步提高系统性能,进而在非结构化文本中抽取出实体的属性及属性值.实验结果表明:该方法在百度百科多个类别中均有效;同时,该方法可以直接扩展到类似的非结构化文本中抽取属性.     

基于改进BERT模型的时政微博评论情感分类

微博的流行使公众能够更加容易也更加积极地参与到社会话题的讨论中去,识别公众对事件的情感倾向已经成为一个有价值的话题.目前已有的情感分类方法往往是选择一种分类模型(比如SVM)或者结合几种分类模型,然后将数据直接进行分类,没有考虑根据数据的不同领域来调整分类模型.基于预训练的BERT网络,可以使用无标签的时政微博语料改进...     

基于迁移的微博分词和文本规范化联合模型

传统的分词器在微博文本上不能达到好的性能,主要归结于:(1)缺少标注语料;(2)存在大量的非规范化词.针对这两类问题,文中提出一个分词和文本规范化的联合模型,该模型在迁移分词基础上,通过扩充迁移行为来实现文本规范化,进而对规范的文本进行分词.在实验中,采用大量的规范标注文本及少量的微博标注文本进行训练,实验结果显示,该模型具有较好的域适应性,其分词错误率比传统的方法减少了10.35%.     

基于FP-Growth算法的词性标注规则获取方法

为了提高词性标注模型训练语料的质量,设计了一种利用FP-Growth算法从训练语料库中自动获取词性标注规则的方法,并将该方法与基于Apriori算法的词性标注规则获取方法进行了对比实验.实验结果显示,对于0.1万、0.2万和1万词级的小规模语料库,2种方法获取的词性标注规则条数均相同,但基于FP-Growth算法的时间耗费分别仅为基于Apriori算法的0.013 866%,0.010 399%,0.003 132%;对于10万、100万词级的训练语料库,基于Apriori算法无法获取任何规则,但基于FP-Growth算法依然可以在合理时间内获取有效的规则.这说明,基于FP-Growth算法的词性标注规则获取方法是可行且高效的,满足在优化训练语料库时能从不同规模的语料库中自动获取词性标注规则的实际需求.     

基于中文微博语料的情感倾向性分析

微博的兴起与传播使得短文本情感分类成为目前的热门研究领域。通过对中文微博语料的情感倾向性分析进行研究,提出了一种新的情感分类方法。首先构建了两级情感词典,并对不同级别情感词作不同增强;然后在情感特征方面使用N-Gram方法,尽量获取有限长度博文中的未登录情感词和情感信息。经实验验证与传统方式相比较,该方法的准确率和召回率都有所提高,在COAE2014微博情感倾向性评测任务中也取得了较好的成绩。