Python爬蟲從入門到放棄（十）之 關於深度優先和廣度優先

網站的樹結構 深度優先算法和實現 廣度優先算法和實現 網站的樹結構 通過伯樂在線網站爲例子： 並且我們通過訪問伯樂在線也是可以發現，我們從任何一個子頁面其實都是可以返回到首頁，所以當我們爬取頁面的數據的時候就會涉及到去重的問題，我們需要將爬過的url記錄下來，我們將上圖進行更改 在爬蟲系統中，待抓取URL隊列是很重要的一部分，待抓取URL隊列中的URL以什麼樣的順序排隊列也是一個很重要的問題，因爲

>>阅读原文<<