網站robots文件中到底要不要屏蔽JS和css

　　網站robots文件中到底要不要屏蔽JS和css?最近發現百度蜘蛛每日抓取網站的js和css文件非常頻繁，甚至能佔每日抓取量的五分之一，百度蜘蛛每日抓取5000次，其中單獨抓取js和css文件就有一千多次。遇到這種情況，是否應該屏蔽蜘蛛抓取上述文件? 　　一、robots全部屏蔽掉不太建議，因爲隨着網頁的發展，資源種類越來越多，蜘蛛需要分析; 　　二、根據之前看到的百度對網頁主體內容模板的專利

>>阅读原文<<