怎麼防止網站被爬蟲爬取的幾種辦法

今天想對一個問題進行分析和討論，就是關於爬蟲對網站頁面爬取的問題，有些網站經過爬蟲去採集其它的網站頁面信息做爲己用，大量的爬取行爲會對web服務器有比較性能有影響，主要的表現就是會變得很慢。 對於如何防止網站被爬取，我想從如下幾種方法去分析： 1.基於程序自己去防止爬取：做爲爬蟲程序，爬取行爲是對頁面的源文件爬取，如爬取靜態頁面的html代碼，能夠用jquery去模仿寫html，這種方法假裝的頁面

>>阅读原文<<