CTF-web 第九部分 爬蟲協議與源碼泄露

 這裏須要首先說一下，不少CTF題目的初步提示就是在爬蟲協議和源碼泄露中，雖然這倆都是很小的一部分，可是不容忽視。在題目毫無思路的時候看看，萬一有新發現呢   (1)Robots.txt 爬蟲協議         robots.txt是一個純文本文件，是爬蟲抓取網站的時候要查看的第一個文件，通常位於網站的根目錄下。robots.txt文件定義了爬蟲在爬取該網站時存在的限制，哪些部分爬蟲能夠爬取，哪

>>阅读原文<<