【攻防世界】CTF web新手03 robots協議

【攻防世界】CTF web新手03 robots協議 什麼是robots協議？ Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是「網絡爬蟲排除標準」（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。 具體內容可看：https://blog.csdn.net/zhangyingchengqi/article/det

>>阅读原文<<