在爬取網站中的代理設置，爬蟲利器

requests 下的代理使用 使用代理 IP，這是爬蟲/反爬蟲的第二大招，通常也是最好用的。 很多網站會檢測某一段時間某個 IP 的訪問次數(通過流量統計，系統日誌等)，如果訪問次數多的不像正常人，它會禁止這個 IP 的訪問。 所以我們可以設置一些代理服務器，每隔一段時間換一個代理，就算 IP 被禁止，依然可以換個 IP 繼續爬取。 requests   ProxyHandler 處理器（代理設

>>阅读原文<<