robots.txt

Robots協議（也稱爲爬蟲協議、機器人協議等）的全稱是「網絡爬蟲排除標準」（Robots Exclusion Protocol），網站經過Robots協議告訴搜索引擎哪些頁面能夠抓取，哪些頁面不能抓取。html 簡介:服務器 robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，好比Windows系統自帶的Notepad，就能夠建立和編輯它[1]  。robots.txt是一個協

>>阅读原文<<