關於Scrapy爬蟲項目運行和調試的小技巧（下篇）

前幾天給大家分享了關於Scrapy爬蟲項目運行和調試的小技巧上篇，沒來得及上車的小夥伴可以戳超鏈接看一下。今天小編繼續沿着上篇的思路往下延伸，給大家分享更爲實用的Scrapy項目調試技巧。 三、設置網站robots.txt規則爲False 一般的，我們在運用Scrapy框架抓取數據之前，需要提前到settings.py文件中，將「ROBOTSTXT_OBEY = True」改爲ROBOTSTXT_

>>阅读原文<<