9.2 機器人的 HTTP

機器人和所有其他 HTTP 客戶端程序並沒有什麼區別。它們也要遵守 HTTP 規範中的規則。發出 HTTP 請求並將自己廣播成 HTTP/1.1 客戶端的機器人也要使用正確的 HTTP 請求首部。 很多機器人都試圖只實現請求它們所查找內容所需的最小 HTTP 集。這會引發一些問題；但短期內這種行爲不會發生什麼改變。結果就是，很多機器人發出的都是 HTTP/1.0 請求，因爲這個協議的要求很少。 1

>>阅读原文<<