分佈式爬蟲初識及Redis----windows安裝

今天爲大家介紹的是分佈式爬蟲和redis數據庫，分佈式爬蟲今天主要帶大家認識一下它，以及它的優缺點和適用範圍；redis數據庫主要是怎麼去安裝它，提及它的特點，至於它的使用，接下來我會一一向大家介紹。 一、什麼是分佈式爬蟲？ 1.默認情況下，scrapy爬蟲是單機爬蟲，只能在一臺電腦上爬蟲 因爲怕產品能夠調度器的隊列queue去重和set都是在本機上創建的 其他電腦無法訪問另一臺電腦上的內存的內容

>>阅读原文<<