公司內部M站sitemap實現

公司內部M站sitemap實現 一、robots和sitemap文件，前者的作用是減少百度蜘蛛在站內的無謂爬取，後者增加百度蜘蛛在站內的有效爬取，對百度收錄和自己網站的SEO推廣都十分重要。 1.robots只有一個：robot.txt，這是一個文本文件，主要利用Allow（允許）和DisAllow（禁止）兩個命令，（這兩個重要的是禁止），禁止百度蜘蛛爬取一些無謂的文件和文件夾，增加百度搜錄速度。

>>阅读原文<<