Scrapy框架之如何給你的請求添加代理

      首先做好準備工作，創建一個Scrapy項目，目錄結構如下：       注：spiders目錄下多了3個文件，db.py，default.init和items.json。db.py是我簡單封裝的一個數據庫訪問的lib文件，default.init是我的數據庫和代理相關的配置文件，items.json是最後的輸出文件。       給請求添加代理有2種方式，第一種是重寫你的爬蟲類的sta

>>阅读原文<<