攻防世界web Training-WWW-Robots writeup

題目描述見上； 根據題目要求我們學習robots協議相關知識。 robots.txt： 該協議將告訴網絡搜索引擎的漫遊器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的，哪些是可以被漫遊器獲取的。 所以使用搜索引擎的時候通過散佈spider進行獲取網站內容時，spider會先檢索是否有robots.txt文件，如果有，那麼spider將會根據該文件中的限制進行檢索。 於是我們在在

>>阅读原文<<