毒舌電影社區爬蟲

上一次寫了scrapy-redis分佈式爬蟲的環境搭建，如今以毒舌電影社區爲例子編寫毒舌電影社區的分佈式爬蟲例子。若是對於scrapy-redis的環境搭建不熟悉，能夠直接參考 scrapy-redisf實現分佈式爬蟲；分析毒舌電影社區須要Fiddler進行抓包，這部分能夠直接參考 fiddler抓取摩拜單車數據包教程。下面直接給出電影評論接口地址以及參數。html 1.經過Fiddler抓包分析

>>阅读原文<<