2019年 阿里巴巴Python 面試必備 ！100 問

  0 遇到過得反爬蟲策略以及解決方法? 1.通過headers反爬蟲 2.基於用戶行爲的發爬蟲：(同一IP短時間內訪問的頻率) 3.動態網頁反爬蟲(通過ajax請求數據，或者通過JavaScript生成) 4.對部分數據進行加密處理的(數據是亂碼) 解決方法： 對於基本網頁的抓取可以自定義headers,添加headers的數據 使用多個代理ip進行抓取或者設置抓取的頻率降低一些， 動態網頁的可

>>阅读原文<<