首页 | 本学科首页   官方微博 | 高级检索  
     检索      

网络舆情中的信息预处理与自动摘要算法
引用本文:廉捷,刘云.网络舆情中的信息预处理与自动摘要算法[J].北京交通大学学报(自然科学版),2010,34(5):94-99.
作者姓名:廉捷  刘云
作者单位:北京交通大学,电子信息工程学院,北京,100044;北京交通大学,电子信息工程学院,北京,100044
基金项目:国家自然科学基金资助项目(60972012); 北京市自然科学基金资助项目(4102047); 教育部哲学人文社会科学研究重大课题(08WL1101); 北京市教育委员会学科建设与研究生建设项目资助(JXKJD20090001); 科技人员服务企业项目资助(2009GJA00048); 中央高校基本科研业务费专项资金资助(2009YJS007)
摘    要:提出了一套从互联网原始数据中提取有效信息,利用网页模版对这些信息进行格式化整理,并依据网络舆情的特点对正文信息进行自动摘要处理,在自动摘要处理过程中引入倒排索引概念简化了算法复杂度,基于关键词的权重分析保证了算法能够更准确的找到人们关心的信息.测试结果支持了本文提出的算法.

关 键 词:自动摘要  网页预处理  信息抽取  倒排索引  网络舆情

Web Data Preprocessing and Automatic Abstract for the Public Opinion
LIAN Jie,LIU Yun.Web Data Preprocessing and Automatic Abstract for the Public Opinion[J].JOURNAL OF BEIJING JIAOTONG UNIVERSITY,2010,34(5):94-99.
Authors:LIAN Jie  LIU Yun
Institution:LIAN Jie,LIU Yun(School of Electronic , Information Engineering,Beijing Jiaotong University,Beijing 100044,China)
Abstract:This paper firstly introduced an approach of the data preprocessing and formatting from the original web pages based on web wrappers.Then,an algorithm of automatic abstract for the public opinion is presented.During the process of the automatic abstract operation,we use the technique of Inverted-Index to furthermore decrease the algorithm's complexity.And the policy of weight analysis based on keywords is used to ensure people to find the most cared information.Finally,the experiment results show that the p...
Keywords:automatic abstract  web page preprocessing  information extraction  inverted-index  public opinion  
本文献已被 CNKI 万方数据 等数据库收录!
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号