基于大数据技术的网络舆情感知系统的分析与实现

随着大数据技术的日趋成熟,利用大数据技术实现对海量的网络舆情数据进行采集、分析和展示,对网络舆情信息感知度得到了很大的提升,可以准确地了解网络舆情的发展态势,把握群众的情绪,对舆情事件做出高效、正确的决策。利用分布式爬虫技术来抓取数据,文本分析技术进行数据预处理和数据清洗,对数据仓库的舆情信息进行处理、分析,实现了舆情的监测、舆情的分析和舆情报告。通过大数据技术挖掘网络舆情事件,能够快速准确地感知舆情信息,可以有效提升网络舆情的管控和预防能力。     

基于BiGRU- CNN的网络舆情情感识别模型

目的 随着公众舆论数据的快速增长，社交网络文本情感识别在网络舆情监控中发挥着越来越重要的作用。由于文本数据的稀疏性、高维性和自然语言的复杂语义，情感分析任务面临巨大的挑战。方法 为提高网络舆情情感识别的效果，设计一种融合双向门控循环单元(BiGRU)和卷积神经网络(CNN)的情感识别模型。首先将社交网络文本转换成特征向量，然后通过BiGRU提取文本的上下文情感特征，最后通过CNN提取文本的局部情感特征，构建中文社交网络文本情感识别模型。结果 以新冠疫情期间网民的微博评论为数据集验证模型的可行性和优越性，模型的精确率、召回率和F1值分别达到86.6%、87.06%和86.85%。结论 实验结果表明，融合BiGRU-CNN的特征向量包含更加丰富文本的情感信息，能够有效提升网络舆情情感识别的性能。     

舆情监测系统中信息采集模块的设计与实现

网络舆情已经成为反映当今社会舆情重要组成部分,具有传播速度快、信息多元化等特点.建立舆情检测系统能够对大规模网络数据进行采集、挖掘和分析,对网络舆情热点话题进行及时的发现和追踪,为各单位和组织应对舆情危机提供科学、系统的支持.通过对网络爬虫搜索策略、大规模URL去重、页面识别等技术的研究和改进,实现一个高效、快捷的网络爬虫系统.     

网络舆情危机的预警方法概述

论述了网络舆情监控的重要性,并据此总结了目前研究较多的网络舆情危机预警方法,包括基于情感倾向性分析技术的预警、基于网络舆情晴雨表的预警、基于指标的预警体系、基于Web数据挖掘的预警、基于模糊推理的网络舆情预警方法等。认为基于计算机网络技术和文本分析处理技术的互联网舆情监控系统将会越来越多引起人们的关注。     

基于网络信息挖掘的股市影响因素分析

针对海量网络文本信息的获取、 量化和分析的难题, 采用信息抓取技术获得网络金融舆情文本信息, 并根据数据的信息量对金融舆情信息进行分类, 建立因子模型和时间序列模型, 分析网络金融舆情信息对我国股票市场的影响。通过实证得到以下结论： 与单只股票相关的网络文本信息数量, 明显影响了该只股票在第2日的收益率; 信息容量越大的网络文本信息对股票的影响力越大, 而不同组的信息对收益率的作用方向不同; 网络文本信息的数量与股票波动率明显相关, 信息容量不同的文本信息对波动率的影响力也不同。     

基于SnowNLP的微博网络舆情分析系统

随着微博、抖音、贴吧等新兴网络社交媒体的发展,大量用户开始喜欢使用这些平台进行发布和获取信息,因此累积了大量舆情数据。为了能够及时监测网络舆论动向,更好的维护互联网的安全运营和网络安全,针对实时微博数据,研究设计了一种基于SnowNLP的微博网络舆情分析系统。该系统由舆情数据采集、舆情数据分析和舆情数据可视化组成,能够实现微博数据文本挖掘、网络舆情数据情感分析、舆情数据与关键词匹配结果统计等功能,并能够对微博内容情感分析结果、用户等级、内容分词结果等进行可视化展示。实验测试结果表明：本系统功能运行正常,同时验证了设计方案的可行性和有效性。系统在网络舆情监测领域具有重要的应用价值。     

一种基于云计算的舆情数据服务平台

本文提出一种基于云计算的大规模舆情数据服务平台设计方案,依托大规模网页采集分析技术、云计算数据处理技术、社会关系舆情传播分析技术和文本流舆情主题分类技术,针对不同需求的用户提供按需计费、可定制和可弹性管理的商业服务模式,实现网络舆情服务。     

基于LDA与注意力机制BiLSTM的微博舆情分析模型

为对网络舆情数据进行主题挖掘与情感分析,以微博某单位招聘热点事件的舆情演变为研究对象,提出了一种融合主题模型和情感分析的LDA-Attention-BiLSTM模型。运用Python的Scrapy框架爬取该事件文本评论。采用隐含狄利克雷分布(LDA)模型实现了主题识别。使用基于注意力(Attention)机制的双向长短期记忆(BiLSTM)网络进行文本情感分析。研究结果表明,构建的基于LDA与Attention机制BiLSTM的混合模型能够反映舆情中的热点话题与情感时序变化,揭示事件爆发的主要原因,事件传播阶段的主要话题与事件的处理结果等。     

基于大数据新闻网站文本挖掘的网络舆情监测设计与实现

当今中国,网民人数已经超过人口总数的一半,因此网络舆情监测具有十分重要的意义。本文首先应用网络爬虫技术实现对新闻报道和对应网民评论文本数据获取。因为数据量大,所以选择Hadoop集群进行文本数据储存。其次,通过中文分词技术对文本数据按词语进行拆分,并对得到的词语进行过滤和挑选,得到关键词。新闻报道文本中获取的关键词用于新闻类型与主题的判别,网民评论中的关键字反映了网民对此新闻报道的观点和态度。最后,应用此方法,对"中美贸易战"事件进行网络舆情监测,从获得的新闻报道主题和网民评论的关键字表明,本文介绍的网络舆情监测方法具有可行性和实用性。     

网络舆情监控过程中微博文本分类处理的实现方法

分析了微博短文本的专有特征,介绍了微博短文本的预处理流程.以新浪微博为网络舆情数据获取平台,简述了微博文本分类处理实现过程,基于Hadoop进行了网络舆情微博分类设计,为网络舆情监控任务的完成做数据依据.     

一种基于领域知识的特征提取算法

特征抽取是网络舆情分析中最重要的环节之一,优秀的特征抽取算法能够极大的提高舆情分析的效率和准确率.对旅游网络舆情进行分析和监管,能够及时发现云南旅游中的突发事件,可提供给相关部门以便迅速采取正确的应对方式,对云南的旅游业发展有很大的帮助,分析了传统特征抽取算法正确率低下、运行效率不高等方面的不足,将领域本体知识应用在旅游网络舆情分析的特征抽取算法之中,建立旅游网络舆情领域本体,根据领域本体优化特征抽取计算特征词权重,经过多次大数据量试验验证,优化后的方法显著提高了特征抽取的正确率和运行效率,证明基于领域知识的特征抽取的正确率和运行效率得到很大的提升.     

基于LDA的中国少数民族网络舆情监测系统的探究

随着民族地区信息化建设的不断推进,中国少数民族语言网络舆情研究也逐渐引起了大家的关注,文本分类和情感分析模块是舆情系统的重要组成部分。传统的文本分类方法主要通过统计字面上的词语重复次数,而对于文字背后的语义关联考虑甚少。该文重点介绍了一种基于LDA模型在少数民族语言（以彝文为例）网络舆情信息情感分析方面的应用,对文字隐含的主题进行建模,通过挖掘少数民族网页上的舆情信息所蕴含的主题,以及对这些主题进行情感分析,在事件全面爆发之前,采取应急措施。     

高校网络舆情监控系统的实现

立足于对高校网络这一校内主要舆论平台的监控的实际需要,结合中文信息处理领域中网络爬虫、网页除噪、特征提取、文本分类等技术,给出了一种高校网络舆情监控系统的实现方案,并通过实验验证了系统的有效性.     

大数据环境下的微信息蜜罐监测

互联网自媒体呈现大数据特征,负能量言行时常爆发,舆情检测已经成为网络监管的重大难点问题.本文基于软件定义网络、蜜罐技术和分布式架构,综合"流量级"检测和"进程级"检测2个层面,通过构造异常行为数据集和敏感文本类型数据集,设计负能量舆情倾向的检验算法,搭建虚拟蜜罐式主动性舆情检测系统.实践证明,虚拟蜜罐式主动舆情检测系统,能较好地完成自媒体圈的主题倾向监测任务,为自媒体圈舆情检测技术提供新的研究视角.     

搜索引擎技术及应用研究

搜索引擎通过网页搜索软件查询互联网上的链接,访问网络公开域中的每一个站点,将它们的网址带回搜索引擎,同时给web页上的文本建立索引,从而创建出一个详尽的网络目录。由于网络文档的不断变化,搜索软件也不断地更新以前已经分类的目录。搜索引擎目前广泛应用于网络资源搜索和商业智能系统。     

基于位置注意力机制的字词双维度CNN违法违规行为语义分类模型

针对核辐射安全监管部门检查建议所含违法违规行为自动识别并分类难的问题,建立语义分类自动研判模型,辅助有关部门丰富智能化管理体系,依靠数据进行科学决策,实现监管效率及质量的有效提高。将词和字符两个不同嵌入级别的特征向量输入到双路卷积神经网路（Convolutional Neural Networks, CNN）中,并引入语义位置注意力机制,建立基于字词双维度语义分析的违法违规研判模型。该方法不仅能够有效防止信息丢失,还能提取出更丰富的文本特征,强化领域关键词汇对分类准确率的帮助。实验结果表明本文建立的模型优于传统语义分类模型,能够有效提高分类准确度。     

基于卷积神经网络的隐式评价对象识别

为解决课程评论中隐式评价对象识别问题,提出了一种基于文本分类的隐式评价对象的识别方法。首先通过word2vec 模型获得训练文本对应的词向量,获得短文本特征; 其次将短文本特征在TextCNN 中进一步提取高层次特征,通过K-max 池化操作后放入Softmax 分类器中进行训练得出分类模型; 最后利用训练好的分类器对隐式评价句进行分类,获取隐式评价句对应的评价对象。实验表明,基于卷积神经网络对隐式课程评论进行属性分类,课程评论的隐式评价对象识别正确率达到89． 9%,满足了课程评论中对隐式评价句对象识别的需求。     

基于案例的CDMA网络故障管理决策支持系统

为了加快CDMA网络维护优化的故障处理效率,持续提升网络质量和改善用户感知,采用案例推理的人工智能方法,建立一种基于案例推理的CDMA网络故障管理决策支持系统,给出了系统总体框架和工作流程,以及各种关键技术的实现方法.以某公司CDMA网络日常管理的部分故障处理记录建立初始案例库,将未存入案例库的多个案例故障记录作为新案例,利用上述设计的CBR系统进行求解.示例运行结果检验了该系统运行的可行性和有效性,能够有效地提升CDMA网络维护优化的故障处理效率.     

基于辅助模态监督训练的情绪识别神经网络

为了解决多模态数据中数据样本不平衡的问题,利用资源丰富的文本模态知识对资源贫乏的声学模态建模,构建一种利用辅助模态间相似度监督训练的情绪识别神经网络。首先,使用以双向门控单元为核心的神经网络结构,分别学习文本与音频模态的初始特征向量;其次,使用SoftMax函数进行情绪识别预测,同时使用一个全连接层生成2个模态对应的目标特征向量;最后,利用该目标特征向量计算彼此之间的相似度辅助监督训练,提升情绪识别的性能。结果表明,该神经网络可以在IEMOCAP数据集上进行情绪4分类,实现了82.6%的加权准确率和81.3%的不加权准确率。研究结果为人工智能多模态领域的情绪识别以及辅助建模提供了参考依据。     

面向彝文网页的敏感内容分级系统研究

随着互联网和彝文信息化的快速发展,彝文网络上充斥着大量的敏感信息,极大的影响了我国边疆的舆情信息安全.但彝文信息技术的发展与中英文相比还比较滞后,因彝文语言结构复杂、彝语分布环境广泛等原因,彝文的信息采集和文本分词等技术还不够成熟,这对涉外彝文网页的敏感内容监管带来巨大的挑战.为解决彝文网络信息的安全传播和舆情稳定,试图提出彝文敏感内容分级模型,并结合自研的彝文爬虫及分词等技术.构建一种面向彝文网页的敏感内容分级的算法模型和演示系统,相比于同类的民族语言舆情分析系统,不仅可实现敏感词的识别和过滤,还具有敏感内容分级、敏感源地址追踪等功能.通过人工评测与分析,该系统对敏感内容的分级可达到48%的准确率,敏感词的识别率为80%.