在视频上点击右键选择显示全部观看
Google的爬虫在爬行网页的时候会记录到它爬行过程中的部分信息而不是全部信息,它记录的这些信息可以知道这些网页是关于种类型,还有就是记录的这些信息在网页的位置。
Google现在收录的网页数量应该有几十亿,以新概念英语3为例子,在搜索结果下方会有一个网页快照,点击网页快照会有相关的爬行信息。
从时间上看,google爬虫的频率非常之高,当网站被搜索的时候,google就会根据这些信息制定一套规则,就是怎么样返回这些搜索结果。
可以说每一个搜索引擎的搜索排名的检索规则都是各不相同,这是所谓的行业秘密。但不管是哪个搜索引擎它大致上的意义都是一样的。