什麼樣的爬蟲纔是好爬蟲：Robots協議探究

網站的管理者們通常會有這樣一種心態：一方面期待百度、Google這樣的搜索引擎來抓取網站的內容，另一方面又很厭惡其他來路不明的網絡爬蟲抓取自己的信息。正是因爲這樣，纔有「好爬蟲」、「壞爬蟲」這樣的說法。 提到「好爬蟲」，就不得不提網絡爬蟲與web之間的訪問授權協議——Robots協議了。 Robots協議的定義 Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是「網絡爬蟲排除標準」（Robo

>>阅读原文<<