反爬蟲

1、爲何要反爬蟲 1. 爬蟲佔總PV比例較高，這樣浪費錢（尤爲是三月份爬蟲） 三月份爬蟲是個什麼概念呢？每一年的三月份咱們會迎接一次爬蟲高峯期。javascript 最初咱們百思不得其解。直到有一次，四月份的時候，咱們刪除了一個url，而後有個爬蟲不斷的爬取url，致使大量報錯，測試開始找咱們麻煩。咱們只好特地爲這個爬蟲發佈了一次站點，把刪除的url又恢復回去了。前端 可是當時咱們的一個組員表示很

>>阅读原文<<