攻防世界web Training-WWW-Robots writeup

題目描述見上; 根據題目要求我們學習robots協議相關知識。 robots.txt: 該協議將告訴網絡搜索引擎的漫遊器(又稱網絡蜘蛛),此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的,哪些是可以被漫遊器獲取的。 所以使用搜索引擎的時候通過散佈spider進行獲取網站內容時,spider會先檢索是否有robots.txt文件,如果有,那麼spider將會根據該文件中的限制進行檢索。 於是我們在在
相關文章
相關標籤/搜索