攻防世界web解題

robots robots協議（robots.txt） Robots協議用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取；可以屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬；可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容；設置網站地圖連接，方便引導蜘蛛爬取頁面。（來自百度百科） ** 置於網頁上的robots.txt，指定了搜索引擎和網絡爬蟲可以可以訪問和禁止訪問的頁面

>>阅读原文<<