robots，白，黑，灰帽

robots.txt robots協議（也稱爲爬蟲協議，爬蟲規則，機器人協議等）也就是robots.txt,網站通過robots協議告訴搜索引擎哪些頁面可以抓取，那些頁面不希望抓取。 Robots協議是網站國際互聯網界通行的道德規範，其目的是保護網站數據和敏感信息，確保用戶個人信息和隱私不被侵犯。 因其不是命令，故需要搜索引擎自覺遵守 robots.txt放置位置 roboats.txt文件應該放

>>阅读原文<<