爬蟲知識5：常見反爬蟲機制——User-Agent和代理IP設置

常見反爬機制： 1、拒絕非瀏覽器的訪問：可以檢查請求頭header中的User-agent、referer、cookies： User-agent用來表示請求者的信息，可以蒐集User-agent並保存，爬取過程中動態更換在User-agent，僞裝成瀏覽器的形式 referer可以使用瀏覽器分析提取referer信息 需要登錄才能操作的頁面可以保留cookies，帶着cookies信息登錄 2、

>>阅读原文<<