【攻防世界】CTF web新手03 robots協議

【攻防世界】CTF web新手03 robots協議 什麼是robots協議？php Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是「網絡爬蟲排除標準」（Robots Exclusion Protocol），網站經過Robots協議告訴搜索引擎哪些頁面能夠抓取，哪些頁面不能抓取。web 具體內容可看：https://blog.csdn.net/zhangyingchengqi/artic

>>阅读原文<<