搜索引擎的Robots協議

robots.txt是一種存放於網站根目錄下的文本文件，用於告訴搜索引擎的爬蟲（spider），此網站中的哪些內容是不應被搜索引擎的索引，哪些是可以被索引。通常認爲，robots.txt文件用來搜索引擎對目標網頁的抓取。 　　robots.txt協議並不是一個規範，而只是約定俗成的，通常搜索引擎會識別這個文件，但也有一些特殊情況。 　　對於Google來說，使用robots也未必能阻止Google

>>阅读原文<<