Scrapy框架設置動態UserAgent和IP地址池遇到的巨坑

Scrapy設置動態User-Agent時遇到的巨坑 今天帶着開心的心情去爬取豆瓣所有的電影，然而，在第一次IP被封了的時候設置動態User-Agent後就一直出現302或者連接拒絕一系列的問題，搞了一天，最後終於發現，是在寫下載中間類的時候取名出錯，真是蛋疼！！！能想象嗎，就是一個不怎麼寫博客的人被生生氣到寫博客來發泄，WTF，一天就這麼沒了！！！ 寫完類後記得在setting裏開啓DOWNLO

>>阅读原文<<