互聯網網站的反爬蟲策略淺析

由於搜索引擎的流行，網絡爬蟲已經成了很普及網絡技術，除了專門作搜索的Google，Yahoo，微軟，百度之外，幾乎每一個大型門戶網站都有本身的搜索 引擎，大大小小叫得出來名字得就幾十種，還有各類不知名的幾千幾萬種，對於一個內容型驅動的網站來講，受到網絡爬蟲的光顧是不可避免的。 一些智能的搜索引擎爬蟲的爬取頻率比較合理，對網站資源消耗比較少，可是不少糟糕的網絡爬蟲，對網頁爬取能力不好，常常併發幾十上

>>阅读原文<<