| 一种分布式网络爬虫的设计与实现 |
| |
| 引用本文： | 杨瑞,胡弘思,张文波,姚天昉. 一种分布式网络爬虫的设计与实现[J]. 江西师范大学学报(自然科学版), 2013, 37(4): 382-386 |
| |
| 作者姓名： | 杨瑞 胡弘思 张文波 姚天昉 |
| |
| 作者单位： | 上海交通大学计算机科学与工程系,上海,200240 |
| |
| 摘 要： | 利用用户指定的关键字和搜索引擎生成URL种子,通过分布式网络爬虫抽取符合用户需求的网页作为研究所用的语料.实验结果表明:分布式网络爬虫可以较好地解决在短时间内抽取大量语料的需求.
|
| 关 键 词： | 分布式系统 网络爬虫 设计 |
Design and Implementation of a Distributed Web Crawler |
| |
| YANG Rui , HU Hong-si , ZHANG Wen-bo , YAO Tian-fang. Design and Implementation of a Distributed Web Crawler[J]. Journal of Jiangxi Normal University (Natural Sciences Edition), 2013, 37(4): 382-386 |
| |
| Authors: | YANG Rui HU Hong-si ZHANG Wen-bo YAO Tian-fang |
| |
| Affiliation: | YANG Rui;HU Hong-si;ZHANG Wen-bo;YAO Tian-fang;Department of Computer Science and Engineering,Shanghai Jiao Tong University; |
| |
| Abstract: | |
| |
| Keywords: | distributed system web crawler design |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
