各大前端巨頭反爬蟲策略

轉載：http://litten.me/2017/07/09/prevent-spiders/ 1. 前言 對於一張網頁，我們往往希望它是結構良好，內容清晰的，這樣搜索引擎才能準確地認知它。 而反過來，又有一些情景，我們不希望內容能被輕易獲取，比方說電商網站的交易額，教育網站的題目等。因爲這些內容，往往是一個產品的生命線，必須做到有效地保護。這就是爬蟲與反爬蟲這一話題的由來。 2. 常見反爬蟲策略

>>阅读原文<<