scrapy.shell 碰到503的錯誤

這幾天剛剛學習scrapy的時候，有的時候想用scrapy.shell驗證一下xpath的正確性，方便點，但經常遇到503的錯誤，所以總結一下： 打開cmd直接輸入scrapy.shell， 就會報錯503 所以我們需要這樣做，進入項目的spiders文件夾 然後就ok了 但是在這之前，我們還需要設置一些東西，進入你要爬的網站，比如http://www.xicidaili.com/nn/ 然後F1

>>阅读原文<<