關於Scrapy爬蟲項目運行和調試的小技巧（下篇）

前幾天給你們分享了關於Scrapy爬蟲項目運行和調試的小技巧上篇，沒來得及上車的小夥伴能夠戳超連接看一下。今天小編繼續沿着上篇的思路往下延伸，給你們分享更爲實用的Scrapy項目調試技巧。shell 3、設置網站robots.txt規則爲False框架 通常的，咱們在運用Scrapy框架抓取數據以前，須要提早到settings.py文件中，將「ROBOTSTXT_OBEY = True」改成ROB

>>阅读原文<<