爬蟲的廣度優先和深度優先算法

廣度優先算法介紹html 　　整個的廣度優先爬蟲過程就是從一系列的種子節點開始，把這些網頁中的"子節點"(也就是超連接)提取出來，放入隊列中依次進行抓取。被處理過的連接須要放 入一張表(一般稱爲Visited表)中。每次新處理一個連接以前，須要查看這個連接是否已經存在於Visited表中。若是存在，證實連接已經處理過， 跳過，不作處理，不然進行下一步處理。算法 　　初始的URL地址是爬蟲系統中提供

>>阅读原文<<