Web文本挖掘技术在新闻主题检测中的应用研究

随着Internet的大规模普及,互联网成为人们获取新闻的主要来源.如何从动态的海量网络信息中自动发现突发事件的新闻流主题,并跟踪突发事件的相关信息,从技术上实现对新闻专题进行组织和生成,对新闻事件进行探测与跟踪,一直是技术上的一个难题.Web文本挖掘的概念及关键技术,对其在新闻主题检测与主题追踪中的应用进行了一些探索性的工作.     

融合依存信息和卷积神经网络的越南语新闻事件检测

新闻事件检测是自动检测新闻文本中出现的相关事件,需要大量人力设计模板,而且难以获取句中隐含的语义信息,识别触发词时多存在歧义.为解决以上问题,利用融合依存句法信息的卷积神经网络(Dependency Parsing Convolutional Neural Networks,DPCNN),针对句子级别越南语新闻事件进行检测.该模型在编码过程中融合了词义、位置信息、词性信息和命名实体信息,利用传统卷积编码连续词之间的特征,利用融合依存句法信息的卷积编码非连续词之间的特征,再融合两部分特征作为事件编码,进而实现事件检测.实验结果表明,该方法在越南语新闻事件检测中取得了很好的效果.     

模板化网页主题信息的提取方法

为了消除网页噪音,有效地提取基于模板的网页主题信息,提出了一种新的信息提取方法.该方法采用机器自动学习方式生成网页集的模板;以网页链接关系中的锚点文本作为提取目标对模板进行标记,生成对应模板的提取规则;依据模板的提取规则对网页主题信息进行提取.对国内2 588个新闻网页进行了检测.实验结果表明,该方法可以快速、有效地提取模板生成的网页集主题信息,准确率达99.5%.将该方法应用于搜索引擎系统(木棉检索)中,与原来的检索系统相比较,索引文件的大小减少约50%,检索的速度和精确度也得到提高.     

中文新闻关键事件的主题句识别

提出在单文档中通过提取主题句以获取关键事件信息的思想。根据新闻的体裁特点, 分析了新闻报道与事件的关系, 以及新闻标题在内容、形式和语言方面的特征。提出利用标题的提示性信息提取主题句来描述新闻关键事件的方法。该方法首先对新闻标题按信息含量进行分类, 然后结合新闻句子的词频、长度、位置、与标题的相似度等特征计算句子的重要性。实验表明, 该方法能够准确提取新闻主题句, 为进一步抽取事件信息打好了基础。     

基于元搜索引擎技术的新闻对象抽取方法研究

以w3c文档对象模型(DOM)为基础,利用元搜索引擎原理实现了一个互联网新闻自动抽取系统.该系统通过搜索引擎获取相关新闻的web页面,分析后得到其元数据,然后利用元数据表现出来的信息进行新闻正文抽取,该方法不依赖于原网页结构,不需要人工干预,是自动、可靠、通用的方法.试验表明,该抽取方法有着较高的准确率,平均可达到96%以上.     

基于主题识别与情感分析的突发公共卫生事件新闻舆情研究

基于我国新冠肺炎疫情期间27万余条新闻报道数据,利用语义分析、社会网络分析与聚类分析等方法,借助新兴可视化工具,从时间、空间维度展开新闻舆情主题和情感研究.研究发现,新闻主题起初以疫情信息为主,中期政府举措与社会影响占比上升,后期各类主题呈现平衡态势,反映了新闻主题从集中到发散的过程;新闻情感呈现随时间推演逐渐好转的总体趋势,显示出我国在抗击疫情中及时有效的调控能力;新闻空间方面,新闻报道的情绪表现及热点主题以湖北省为中心向周边扩散,体现了公共卫生事件的地域关联特征.该研究能为今后相关突发公共卫生事件的新闻报道提供借鉴,使相关管理部门更科学地引导新闻舆论.     

融合多模态的虚假新闻检测

在社交媒体高速发展方便信息交流的同时,虚假新闻也在网络上大量传播,对社会稳定造成了很大的影响.针对当前虚假新闻检测工作大多充分考虑虚假新闻中新闻文本内容而忽略图像内容的问题,提出了一种基于注意力的BiLSTM-CNN多模态虚假新闻检测模型.该模型首先使用双向长短期记忆神经记忆网络(BiLSTM)提取文本内容特征,使用卷积神经网络(CNN)提取图像语义特征,利用注意力机制(Attention)层对提取的内容特征信息分配相应的权重,再将两种特征融合以形成重新参数化的多模态特征作为输入进行虚假新闻检测.实验表明,该方法达到了98.3%的正确率.     

基于主题-对立情感依赖模型的虚假评论检测方法

根据评论内容的特性,提出了一种基于主题-对立情感依赖模型(topic-opposite sentiment dependency model,TOSDM)的虚假评论检测方法。首先构建TOSDM模型,利用该模型提取评论的主题信息以及主题对应的情感信息;然后结合评论的主题以及情感信息,分析并提取6维评论内容特征;最后利用这些评论内容特征,采用有监督学习的分类器对虚假评论进行检测。在大众点评网获取的2009-2012年的5个领域的评论数据集上进行了实验,实验表明,提取评论主题信息以及主题对立情感信息能够提高虚假评论的检测效果,TOSDM的虚假评论检测效果优于其他模型。     

MMCSC：一种跨模态的假新闻检测方法

目前基于新闻内容的假新闻检测方法没有考虑到不同模态更高层的语义关联,缺少可以依据的信息对新闻进行判断,从而缺乏对有重要辨别特征的新闻的社交网络信息进行有效使用.针对这个问题,提出了基于新闻内容的假新闻检测方法,通过提取文本、图像和视频等多模态新闻的高层语义特征,分析不同模态高层语义信息,设计跨模态主题一致性和跨模态情感一致性计算方法 .在此基础上,设计了一种跨模态内容语义一致性的假新闻检测模型MMCSC(multi-modal feature content semantic consistency).实验证明,相比于传统方法,所提出的MMCSC有较好的检测效果.     

气田安全信息实时无线监控系统的开发及应用

"气田安全信息实时无线监控系统"利用中国石化股份公司安全隐患整改项目开发而成,建立了集天然气泄漏检测报警、井口气源安全截断、现场数据采集及无线传输、远程信息监控为一体的安全信息实时无线监控系统.该系统利用集成技术,将传统的安全检测及控制系统进行基于无线移动GSM/GPRS网络的USSD技术的二次开发,实现了数据的现场采集及远程无线传输功能,并利用宽带网络技术实现了对安全监控信息的实时管理.