爬蟲常見面試

一.項目問題： 1.你寫爬蟲的時候都遇到過什麼反爬蟲措施，你最終是怎樣解決的css 經過headers反爬蟲：解決策略，僞造headers 基於用戶行爲反爬蟲：動態變化去爬取數據，模擬普通用戶的行爲， 使用IP代理池爬取或者下降抓取頻率，或 經過動態更改代理ip來反爬蟲 基於動態頁面的反爬蟲：跟蹤服務器發送的ajax請求，模擬ajax請求,selnium 和phtamjs。或 使用selenium

>>阅读原文<<