分布式信息搜集系统中URL存储检索的设计与分析

URL的存储检索效率是构建大规模分布式信息搜集系统的关键，其决定了系统搜集Web文档的效率，对URL存储检索性能做定量分析，分别得出MRL存储及检索所需要达到的速度指标，在此基础上，提出了两种URL存储检索原型，即集中URL服务器存储检索和分布URL存储检索，并对这两种原型系统的检索速度，性能价格比，可扩展性以及可靠性进行了分析比较。实际应用中，可以根据优化目标选择相应的URL存储检索实现方式。