搜索引擎爬取網站策略

爬蟲優先算法 整個的廣度優先爬蟲過程就是從一系列的種子節點開始，把這些網頁中的"子節點"(也就是超鏈接)提取出來，放入隊列中依次進行抓取。被處理過的鏈接需要放 入一張表(通常稱爲Visited表)中。每次新處理一個鏈接之前，需要查看這個鏈接是否已經存在於Visited表中。如果存在，證明鏈接已經處理過， 跳過，不做處理，否則進行下一步處理。 初始的URL地址是爬蟲系統中提供的種子URL(一般在系統

>>阅读原文<<