XCTF攻防世界練習區-web題-Robots

0x03. Robots 【題目描述】php X老師上課講了Robots協議，小寧同窗卻上課打了瞌睡，趕忙來教教小寧Robots協議是什麼吧。html 【目標】git 掌握robots協議的知識。robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索爬蟲訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，若是存在，搜索爬蟲就會按照該文件中的內容來肯定訪問的

>>阅读原文<<