|
|||||
|
|
| 基于分布式网络爬虫的Web空间 数据获取方法研究 | |
| 作者姓名： | 冯玲 黄亮 曾李阳 朱齐华 |
| 作者单位： | 昆明理工大学 国土资源工程学院,云南 昆明,650093;国家测绘地理信息局四川基础地理信息中心,四川 成都,610041 |
| 基金项目： | 四川省科技支撑计划;数字制图与国土信息应用工程国家测绘地理信息局重点实验室开放基金 |
| 摘 要： | 本文针对单机网络爬虫获取Web空间数据在抓取覆盖率和抓取效率上均受到一定程度的限制,难以保证所抓取数据的及时性以及全面性问题,研究了基于分布式网络爬虫的Web空间数据获取方法,设计了基于分布式网络爬虫的Web空间数据获取原型系统并且最终实现,并且通过对原型系统进行相关的测试来证实了本文所提出解决方法的有效性。 |
| 关 键 词： | Web空间数据 分布式网络爬虫 原型系统 |
| 本文献已被 CNKI 万方数据 等数据库收录！ | |