基于特征串的网页去重算法

用户在互联网中网页检索时,经常会得到大量内容相同的冗余页面,不仅浪费了存储资源,而且给用户带来许多不便。本文对现有的几种重复网页识别技术的优缺点进行了比较,并且重点讨论了基于特征串的网页快速去重算法。