scrapy爬取網頁出現一部分503的解決辦法

在沒改代碼前 settings.py裏面爬取間隔設置的是 DOWNLOAD_DELAY = 0 有一次是 DOWNLOAD_DELAY = 0.5,但都出現了以下情況 將速度改慢一點，DOWNLOAD_DELAY = 1 最後成功啦！！ ps（可能是網慢吧，也不一定是某網頁對爬蟲的檢查嚴厲） 成功圖片：

>>阅读原文<<