本文環境爲 Win10 64bit+VS Code+Python3.6,步驟簡單羅列下,此方法能夠不用單獨建一個Py入口來調用命令行html
- 安裝Python,從官網下載,過程略,這裏主要注意將python目錄加入環境變量 Path中 "D:\Python36\" "D:\Python36\Scripts"
- 安裝Vs code,過程略, 在vscode擴展中安裝Python插件
- 創建你的Scrapy爬蟲項目或者拷貝過來 用VSC打開,若是應用了chromedriver/ phantomjs必定要拷貝.exe到Python36目錄或單獨加環境變量
- 將根目錄添加到工做區
- 開始準備調試,在debug這裏選擇添加配置,選擇python中的scrapy
- VSC會自動帶入默認的配置如圖
- 這裏注意 args就是你的參數: crawl 關鍵字爬取保留, specs是爬蟲名字 換成你本身的,後面兩個參數可根據scrapy實際狀況增減
- 此時按F5調試, 若是報「Unknown command: crawl」錯誤,則須要在launch.json的scrapy中增長 "cwd"參數, 設置路徑爲爬蟲項目名目錄,通常都在scrapy下的一級
-
- 此時再按F5 便可調試到你在spider裏的斷點了。
Unhandled error in Deferred
若是調試代碼出現以上錯誤,而且沒有詳細錯誤信息,能夠考慮從新安裝正確的 pywin32,Twisted,也能夠單步調試找出出錯地點,具體問題具體分析python
package版本大全:https://www.lfd.uci.edu/~gohlke/pythonlibs/chrome
參考:http://www.stevetrefethen.com/blog/debugging-a-python-scrapy-project-in-vscodejson
原文出處:https://www.cnblogs.com/wfwup/p/10615859.htmlscrapy