B2C垂直搜索引擎的网络爬虫设计

开发了基于Beautiful-Soup信息提取的B2C类垂直搜索引擎爬虫系统.测试结果表明:该爬虫的抓取有效率实际达到95%以上,满足商业应用的要求.     

基于爬虫和网页防篡改的高校门户网站群预警监控系统构建

黑客技术的层出不穷,出现在网络上的信息在校园门户网站群进行信息安全等级保护之后仍然会存在安全隐患.融合信息安全等级保护相关内容初步构建高校门户网站群信息安全监控系统,阐述了系统的具体内容,并对高校门户网站群信息安全扫描监测原型系统进行了实现,通过网络爬虫技术,定期采集门户网站群的页面数据,发现异常后通过qq邮箱、139邮箱、短信、微信等多维联动告警机制给管理员进行联动告警.在高校门户网站群网络信息安全监控方面,通过建立健全高校门户网站群的信息安全管理体系,以信息安全等级保护规范作为指导并融入到信息抓取和监控等信息化手段形成了文中的工作机制和方法.提出的高校门户网站群监控系统预警机制,对高等院校具有一定的借鉴意义和参考价值,可以给其它相关研究和实践提供参考.     

高校网络舆情监控系统的实现

立足于对高校网络这一校内主要舆论平台的监控的实际需要,结合中文信息处理领域中网络爬虫、网页除噪、特征提取、文本分类等技术,给出了一种高校网络舆情监控系统的实现方案,并通过实验验证了系统的有效性.     

石鼓网络舆情监控系统的设计与实现

分析了高校网络舆情监控的现状,提出了基于高校网络舆情监控系统的设计方案.该系统通过网络爬虫将相关网络新闻、博客和论坛的信息采集下来,采用关键词和敏感词匹配的方式对信息进行过滤,将用户关注的信息呈现出来,从而实现对舆情信息及时准确的发现。     

A New Framework for Focused Web Crawling

Focused crawlers are important tools to support applications such as specialized Web portals, online searching, and Web search engines. A topic driven crawler chooses the best URLs and relevant pages to pursue during Web crawling. It is difficult to deal with irrelevant pages. This paper presents a novel focused crawler framework. In our focused crawler, we propose a method to overcome some of the limitations of dealing with the irrelevant pages. We also introduce the implementation of our focused crawler and present some important metrics and an evaluation function for ranking pages relevance. The experimental result shows that our crawler can obtain more ＂important＂ pages and has a high precision and recall value.     

基于文本语义和表情倾向的微博情感分析方法

针对基于机器学习的中文微博情感分析方法存在处理过程复杂、判断准确率低等问题,该文提出了一种新的情感分析方法。将微博爬虫和Web应用程序编程接口(API)相结合,对动态微博数据进行收集和预处理。基于NTUSD和How Net中文情感词典的微博情感词的抽取和分类,计算词语语义相似度和倾向性。综合考虑表情、文本情感倾向的加权和正面情感增强等因素。实验结果表明:表情情感倾向对微博情感倾向起着重要作用;在表情和文本情感倾向比值固定的情况下,调整因素和中性区间的选择会对情感倾向判断准确率产生影响;通过与基于How Net语义相似度的计算模型比较,该文方法使得情感倾向判断准确率提高约5%。