反爬蟲策略

目錄   一 通過請求頭來控制訪問 二 通過IP限制來反爬蟲 三 通過JS腳本來防止爬蟲 四 配置ssl,採用繞過證書驗證實現https   一 通過請求頭來控制訪問 無論是瀏覽器還是爬蟲程序，在向服務器發起網絡請求的時候，都會發過去一個頭文件：headers.  請求頭報文如下圖所示 這裏面大部分的字段都是瀏覽器向服務器表面身份用的，對於爬蟲來說，最需注意的字段就是User-Agent、Refe

>>阅读原文<<