XCTF Web 高手區002:Training-WWW-Robots

題目: WP: 打開網頁看到一堆英文,看不懂的同學可以翻譯一下: 在這個小小的訓練挑戰中,你將學習機器人排除標準。 web爬蟲程序使用robots.txt文件來檢查是否允許爬網和索引您的網站,或者只允許對網站的一部分進行爬網和索引。 有時這些文件會顯示目錄結構,而不是保護內容不被爬網。 享受吧! 說白了還是robots協議的考察,可以參考我的博客裏面新手區的第二題 老樣子,加後綴看看哪些文件可以查
相關文章
相關標籤/搜索