xctf_Robots

Robots [目標] Robots協議 [環境] Windows [工具] 瀏覽器 [分析] 1.根據題目可看出robots協議，所以第一想到的是robots.txt 2.disallow 可看出這是爬蟲協議： User—Agent： 定義搜索引擎類型（定義robots對哪一個搜索引擎生效） User—Agent：BaiduSpider （定義該協議只對百度搜索引擎生效） User—Agent：

>>阅读原文<<