通常網站是如何判斷爬蟲的？

有沒有想過網站是根據哪些來判斷現在有爬蟲正抓取自己網站信息?那 網站的反爬蟲機制是以什麼爲基準來建立的呢。下面介紹4中最常見的形式： 1.cookie檢測，瀏覽器是會保存cookie的，這樣網站會根據檢測cookie來識別你是否是真實的用戶，若是爬蟲沒有僞裝好，將會觸發被限制網頁訪問網頁訪問。 同樣網站是可以根據這些途徑去監測是否有爬蟲，爬蟲工作者也都可以依照這原理去攻破。比如是利用IP檢測的，我

>>阅读原文<<