網站的robots可以屏蔽網站的js嗎?

網站的robots可以屏蔽網站的js嗎? 最近發現網站的js文件被蜘蛛抓取的特別頻繁，抓取佔比達到了2分之1，那麼遇到這種情況到底要不到把js文件給屏蔽了呢? 一、robots全部屏蔽掉不太建議，因爲隨着網頁的發展，資源種類越來越多，蜘蛛需要分析; 二、根據之前看到的百度對網頁主體內容模板的專利的簡單介紹可以得出下面幾個觀點： 1、百度能夠根據前臺頁面的鏈接佈局、框架，判斷出一個站點的主要頁面類型

>>阅读原文<<