scrapy-redis分佈式爬蟲爬取美女圖片

背景： 家裏網速慢（500kb左右，哎~），網站都是大圖，加載好慢好慢，每每夜深人靜訪問的時候一等就是一分鐘，急啊，索性，直接爬到本地，想怎麼看怎麼看。 爬取目標：（你懂得） url: h t t p s : / / w w w . j p x g y w . c o m  爲什麼要用scrapy-redis： 爲什麼用scrapy-redis，個人原因喜歡只爬取符合自己口味的，這樣我只要開啓爬蟲

>>阅读原文<<