響應式網站設計（2）-關於網站製作你不知道的那些文件兒

關於網站製作你不知道的那些文件兒 1、robots.txt robots協議 Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是「網絡爬蟲排除標準」（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。 robots.txt是一個協議，而不是一個命令。robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。r

>>阅读原文<<