爬蟲面試題總結

反爬有哪些？ 一、識別用戶身份： user_agent、 cookies、 referer、 驗html 證碼 二、識別用戶行爲： 併發量（IP和cookies）、 在線時間、 只請求html或ajax等部分類型數據、 蜜罐（設置一些正經常使用戶不會點擊的連接，但爬蟲能爬到，一旦訪問，IP暴露）、 經過機器學習分析是否想爬蟲 三、動態數據加載： ajax jsweb

>>阅读原文<<