不會吧，不會吧，還有人不知道網絡爬蟲是什麼吧

 平衡禮貌策略 爬蟲相比於人，可以有更快的檢索速度和更深的層次，所以，他們可能使一個站點癱瘓。不需要說一個單獨的爬蟲一秒鐘要執行多條請求，下載大的文件。一個服務器也會很難響應多線程爬蟲的請求。   就像Koster（Koster，1995）所注意的那樣，爬蟲的使用對很多工作都是很有用的，但是對一般的社區，也需要付出代價。使用爬蟲的代價包括：  網絡資源：在很長一段時間，爬蟲使用相當的帶寬高度並行

>>阅读原文<<