爬蟲：Robots協議 及位置

Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是「網絡爬蟲排除標準」。Robots協議是通過robots.txt來廣而告知的。 爲什麼要有這個東東？ 網站的一些內容是希望正常被用戶訪問的，而不是一些蜘蛛俠（這些可能把網站搞掛掉、也有可能網站的一些隱私或商業價值較高的信息被同行或有些信息收集人員搞走等）無序或不允許的方式訪問,這些都大大增強了網站的無形和有形的成本，也降低了競爭力。 儘管各位

>>阅读原文<<