攻防世界web解題

robots robots協議（robots.txt） Robots協議用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取；能夠屏蔽一些網站中比較大的文件，如：圖片，音樂，視頻等，節省服務器帶寬；能夠屏蔽站點的一些死連接。方便搜索引擎抓取網站內容；設置網站地圖鏈接，方便引導蜘蛛爬取頁面。（來自百度百科）javascript ** 置於網頁上的robots.txt，指定了搜索引擎和網絡爬蟲能夠能夠

>>阅读原文<<