以 OTA 爲例，看爬蟲和反爬蟲大戰現狀

隨着大數據與機器學習的興起，數據成了你們關注的重點。所以，爬蟲成了小公司的命脈，反爬蟲成了大公司的命脈。OTA 是爬蟲的一大戰場，但願從這裏能讓你們看出，這個不陽光的行業，現狀是怎樣的。git 實錄提要：正則表達式 如何分析爬蟲請求和正經常使用戶； 爬蟲在識別的時候怎麼識別是不是同一個商品； 怎麼保證返回的錯誤數據沒影響到用戶呢； 爬蟲多是億級別的商品數據，如何判斷頁面的數據有沒有變動； 做者的爬

>>阅读原文<<