帶你全面最詳細瞭解掌握什麼是robots.txt

什麼是robots.txt？ 我相信從事web開發和爬蟲技術開發的人對robots.txt文件或者這個協議一定不陌生，沒錯這個協議就叫做機器人協議該協議存在價值是規範爬蟲讓爬蟲技術遵守一個道德規範至於遵不遵守那就看你自己了因爲它不是強制性的就像道德和法律區別類似，道德只會譴責不會讓你坐牢，有關robots.txt的詳細定義大家可以去robots.txt協議說明去具體瞭解。 robots.txt協議

>>阅读原文<<