XCTF_Web_新手練習區：robots

第三題：robots 目標： 掌握robots協議的知識 robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，若是存在，搜索機器人就會按照該文件中的內容來肯定訪問的範圍；若是該文件不存在，全部的搜索蜘蛛將可以訪問網站上全部沒有被口令保護的頁面。 Writeup 使用python掃目錄，掃目錄腳本di

>>阅读原文<<