爬蟲之URL去重

URL去重 我們在協爬蟲時爲什麼需要進行URL去重？ 在爬蟲啓動工作的過程中，我們不希望同一個url地址被多次請求，因爲重複請求不僅會浪費CPU，還會降低爬蟲的效率，加大對方服務器的壓力。而想要控制這種重複請求的問題，就要考慮請求所依據的url，只要能夠控制待下載的URL不重複，基本可以解決同一個網頁重複請求的問題。 對於已經抓取過的url，進行持久化，並且在啓動的時候加載進入去重隊列，是一個比較

>>阅读原文<<