爬蟲之URL去重

URL去重 咱們在寫爬蟲時爲何須要進行URL去重？python 在爬蟲啓動工做的過程當中，咱們不但願同一個url地址被屢次請求，由於重複請求不只會浪費CPU，還會下降爬蟲的效率，加大對方服務器的壓力。而想要控制這種重複請求的問題，就要考慮請求所依據的url，只要可以控制待下載的URL不重複，基本能夠解決同一個網頁重複請求的問題。 對於已經抓取過的url，進行持久化，而且在啓動的時候加載進入去重隊列

>>阅读原文<<