攻防世界——新手區——robots

本題意在讓你瞭解robots協議，robots協議也叫robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫遊器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的，哪些是可以被漫遊器獲取的。robots協議並不是一個規範，而只是約定俗成的，所以並不能保證網站的隱私。反而有些網站可以通過robots協議知道他的敏感文件在哪裏。

>>阅读原文<<