python爬蟲面試題

1.你寫爬蟲的時候都遇到過什麼？反爬蟲措施，你是怎麼解決的？css 經過headers反爬蟲； 基於用戶行爲的發爬蟲：(同一IP短期內訪問的頻率)； 動態網頁反爬蟲(經過ajax請求數據，或者經過JavaScript生成）； 解決途徑：html 對於基本網頁的抓取能夠自定義headers,將header隨request一塊兒發送（通常是User-Agent，Cookie） 使用IP代理池爬取或者下

>>阅读原文<<