深度優先和廣度優先

網站的樹結構 通過伯樂在線網站爲例子：   並且我們通過訪問伯樂在線也是可以發現，我們從任何一個子頁面其實都是可以返回到首頁，所以當我們爬取頁面的數據的時候就會涉及到去重的問題，我們需要將爬過的url記錄下來，我們將上圖進行更改 在爬蟲系統中，待抓取URL隊列是很重要的一部分，待抓取URL隊列中的URL以什麼樣的順序排隊列也是一個很重要的問題，因爲這涉及到先抓取哪個頁面，後抓取哪個頁面。而決定這些

>>阅读原文<<