Python爬蟲Scrapy框架IP代理的配置與調試

在調試爬蟲的時候，新手都會遇到關於ip的錯誤，好好的程序突然報錯了，怎麼解決，關於ip訪問的錯誤其實很好解決，但是怎麼知道解決好了呢？怎麼確定是代理ip的問題呢？由於筆者主修語言是Java，所以有些解釋可能和Python大佬們的解釋不一樣，因爲我是從Java 的角度看Python。這樣也便於Java開發人員閱讀理解。 代理ip的邏輯在哪裏 一個scrapy 的項目結構是這樣的 scrapydown

>>阅读原文<<