robots xctf 攻防世界 web新手練習區

robots 一、題目描述：X老師上課講了Robots協議，小寧同窗卻上課打了瞌睡，趕忙來教教小寧Robots協議是什麼吧。 二、本題考查的知識點爲 robts.txt 協議 無論是企業網站仍是門戶網站，上面都會有些資料是保密而不對外公開的。怎麼樣作到不對外公開呢?惟一的保密的措施就是不讓搜索引擎來搜錄這些信息。這 樣就會不在網絡上公司，那麼要實現這個網站頁面不收錄，就體了robots.txt的做

>>阅读原文<<