攻防世界 web robots

終於見到了一個協議了！！！ 題目描述：X老師上課講了Robots協議，小寧同學卻上課打了瞌睡，趕緊來教教小寧Robots協議是什麼吧。 通過題目描述就知道這題要用到robots協議，所以百度一下。 robots協議也叫robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫遊器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的，

>>阅读原文<<