分析scrapy爬蟲請求過快導致網站429的解決辦法

時間 2021-07-13

原文原文鏈接

在HTTP協議中，響應狀態碼 429 Too Many Requests 表示在一定的時間內用戶發送了太多的請求，即超出了「頻次限制」。在響應中，可以提供一個 Retry-After 首部來提示用戶需要等待多長時間之後再發送新的請求。 HTTP/1.1 429 Too Many Requests Content-Type: text/html Retry-After: 3600 <html>

>>阅读原文<<