網絡爬蟲防止被封的策略和反反爬策略簡單總結

今天不想工做，比較累，遇到一個網站反爬比較嚴重，不說具體哪一個名字了，簡單總結下爬蟲防封策略 html 1，假裝http 頭chrome      chrome 開發者模式，firebug等抓包工具，查看http 進行模擬User-Agent，有的須要加上Referer，能夠多加入幾個http user瀏覽器 2，代理ip，對於限制ip 或者ip被封的採用代理ip安全    代理ip 能夠抓取，本

>>阅读原文<<