| 一种分布式网络爬虫的设计与实现 |
| |
| 引用本文： | 杨瑞,胡弘思,张文波,姚天昉.一种分布式网络爬虫的设计与实现[J].江西师范大学学报(自然科学版),2013,37(4):382-386. |
| |
| 作者姓名： | 杨瑞 胡弘思 张文波 姚天昉 |
| |
| 作者单位： | 上海交通大学计算机科学与工程系,上海,200240 |
| |
| 摘 要： | 利用用户指定的关键字和搜索引擎生成URL种子,通过分布式网络爬虫抽取符合用户需求的网页作为研究所用的语料.实验结果表明:分布式网络爬虫可以较好地解决在短时间内抽取大量语料的需求.
|
| 关 键 词： | 分布式系统 网络爬虫 设计 |
Design and Implementation of a Distributed Web Crawler |
| |
| YANG Rui
,
HU Hong-si
,
ZHANG Wen-bo
,
YAO Tian-fang.Design and Implementation of a Distributed Web Crawler[J].Journal of Jiangxi Normal University (Natural Sciences Edition),2013,37(4):382-386. |
| |
| Authors: | YANG Rui HU Hong-si ZHANG Wen-bo YAO Tian-fang |
| |
| Institution: | YANG Rui;HU Hong-si;ZHANG Wen-bo;YAO Tian-fang;Department of Computer Science and Engineering,Shanghai Jiao Tong University; |
| |
| Abstract: | |
| |
| Keywords: | distributed system web crawler design |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
