關於Scrapy爬蟲項目運行和調試的小技巧（上篇）

掃除運行Scrapy爬蟲程序的bug以後，如今即可以開始進行編寫爬蟲邏輯了。在正式開始爬蟲編寫以前，在這裏介紹四種小技巧，能夠方便咱們操縱和調試爬蟲。

1、創建main.py文件，直接在Pycharm下進行調試

不少時候咱們在使用Scrapy爬蟲框架的時候，若是想運行Scrapy爬蟲項目的話，通常都會想着去命令行中直接執行命令「scrapy crawl crawler_name」，其中crawler_name指的是爬蟲的名字，在一開始建立Scrapy爬蟲模板的時候就指定了的，並且在該爬蟲項目中具備惟一性。可是每次跑到命令行下去執行，看交互的結果，有時候並非很清晰，因此這裏介紹一種方法，能夠幫助你們提升開發效率，尤爲是調試的時候更是顯得方便。

在與爬蟲項目的scrapy.cfg文件同級目錄下創建一個main.py文件，用於控制整個爬蟲項目的執行。

在該文件夾中寫入的代碼見下圖。其中execute函數是內嵌在scrapy中的，調用這個函數能夠直接調用該Scrapy工程項目的爬蟲腳本，這個函數的執行須要在爬蟲項目的父目錄下進行。而第7行代碼的意思就是獲取當前py文件的父目錄，省去咱們直接複製路徑的精力和時間，同時也方便咱們將該項目放到其餘的平臺上去運行，不會報路徑的錯誤。execute函數裏邊的參數其實就是將Scrapy爬蟲執行命令拆分，而後分別以一個字符的方式放到了一個數組中。

以後咱們直接運行這個main.py文件即可以調用Scrapy爬蟲程序了。

2、多用Debug進行調試，提升開發速度

相信用過Pycharm的小夥伴都看到過Debug這個東東，它的英文意思就是「小蟲子」，在Pycharm中的logo也是個小蟲子，像是七星瓢蟲同樣，不過不少小夥伴可能尚未怎麼用過，這裏簡單的介紹給你們，但願你們往後能夠多多用到，對於項目的調試十分有幫助。

在進行Debug調試以前，咱們須要在咱們想要調試的代碼左側進行打斷點，斷點通常是紅色的，打斷點的方式很簡單，只須要在代碼的左側點擊一下左鍵便可，以下圖所示。

斷點設置完成以後，即可以去main.py文件進行調試了。在main.py文件點擊右鍵，而後選擇「Debug ‘main’」，以下圖所示。

以後爬蟲程序便開始進行調試，而且會返回一系列結果，以下圖所示，能夠方便的進行拖拽查看。同時也會在爬蟲文件中以綠色的字體進行顯示爬蟲的結果，很漂亮。

若是想退出或者中止該調試，則點擊Pycharm上方選項卡的Run，而後點擊「Stop ‘main’」便可，以下圖所示。

以後該爬蟲程序就會退出調試，恢復正常的Pycharm界面，以下圖所示。

關於Scrapy爬蟲項目運行和調試兩個小技巧先分享到這裏，下次將分享Scrapy爬蟲項目中更爲實用的兩種調試方法，敬請期待~~