判别重复页面的唯一准则

    搜索引擎的web索引库中存在多种类型的重复网页这些复制的网页有的是未经修改的副本，有的是内容形式的轻微修改，有的迟早会出现，有的只是网页。我们将这些类别划分为不同的内容重复，这可以归结为以下四种类型。

    如果两个文档的内容和布局格式不相同，则此重复可用于完全重复的页面如果两个文档的内容不同，则布局格式也不同，因此内容会重复如果两个文档有重要内容，并且布局相同，则称为布局重复页。

    如果两个文档有一些重要内容，并且布局格式不同，则称为部分重复页所谓的近似重复网页发现是通过技术手段找到这些重复信息的快速和全面的方法。如何快速准确地在这些内容上找到相似的网页，已成为提高搜索引擎服务质量的关键技术。

    搜索引擎找到相同或几乎重复的页面有很多优点首先，如果我们能找到这些重复的网页并将其从数据库中删除，我们就可以节省一些存储空间，然后利用这个空间来存储更有效的web内容，从而提高搜索质量和用户搜索引擎经验。

    其次，如果我们能够通过分析过去收集到的信息提前找到重复的网页，我们就可以避免在将来的网页收集过程中使用这些网页，从而提高网页的收集速度研究表明，重复的页面不会随着时间的推移而发生很大的变化，因此从重复的页面集合中选择一些页面进行索引是非常有效的。