python 網絡爬蟲的Robots協議

網絡爬蟲的尺寸大致分爲3種： 而第一種大致佔到了90%。由於網絡爬蟲的存在，服務器會因爲網絡爬蟲造成很大的資源開銷，比如一個普通人一定時間內訪問上十次，而爬蟲可能會訪問十萬次或者百萬次。如果一個服務器性能較差，可能會承受不來這個規模的訪問。因此網絡上對爬蟲有一定的制約，對於一些不友好的爬蟲，甚至可能會涉及到觸犯到法律。   現在一般的網站都會對爬蟲做出限制，大致分爲兩種： 現在說一下第二種，Rob

>>阅读原文<<