爬蟲應對IP封禁的一般性處理方法

** 封IP目前是很多網站常用的反爬蟲手段，爲了讓廣大爬蟲少走彎路，本文整理了幾種可行的封IP應對方法 ** 1.通過設置Http請求頭直接繞過 某些網站，由於網站開發者或者管理員安全意識不夠，通過設置X-Forwarded-For頭可以僞造任意IP。以IP138爲例 如上圖所示，通過修改X-Forwarded-For標頭的值，可以任意僞造請求ip，配合隨機IP使用，效果很好。但是目前存在此類漏洞

>>阅读原文<<