國內外電商平臺反爬蟲機制報告

電商平臺的核心引擎大致分爲兩塊，搜索架構和產品佈局，應該說各有各的特色。當然今天的主題是反爬蟲機制，電商平臺如何能保護好自己的數據，又不影響正常用戶體驗，所謂當今業界一場持久的攻防博弈。 一階爬蟲（技術篇） 應用場景一：靜態結果頁，無頻率限制，無黑名單。 攻：直接採用scrapy爬取 防：nginx層寫lua腳本,將爬蟲IP加入黑名單，屏蔽一段時間（不提示時間） 應用場景二：靜態結果頁，無頻率限制

>>阅读原文<<