關於分佈式爬蟲思考

爬蟲無非兩樣東西 網站的破解 爬取的效率 由於我很懶，爬蟲就隨便寫寫懟上服務器上跑就行了，從來不考慮效率的問題，所以用到分佈式的情況很少。不過也有用到的時候，之前爬個youtube，除了爬取視頻信息又要下載視頻又要上傳視頻，還要下載縮略圖上傳縮略圖。如果只用一個爬蟲去做的話，其實也沒什麼，就是會失業而已。然後我就開始嘗試去做分佈式。我從網上看到的大部分分佈式教程，都是用redis來儲存任務隊列，然

>>阅读原文<<