爬蟲使用代理防封IP

在我們使用爬蟲進行數據爬取的時候，爬着爬着就經常會遇到這種情況出現「HTTP Error 403: Forbidden 」的提示，這是啥意思呢？其實他是一種http狀態碼，表示你在請求一個資源文件但是nginx不允許你查看。它不屬於技術上的錯誤，但是需要技術解決問題。 需要返回403狀態碼的是哪些場景？ 第一個場景特定的用戶訪問被禁止訪問網站所有的內容，例如，某用戶頻繁的訪問A網站，被A網站屏蔽

>>阅读原文<<