robots.txt文件

1. 什麼是robots.txt文件？css   搜索引擎經過一種程序robot（又稱spider），自動訪問互聯網上的網頁並獲取網頁信 息。您能夠在您的網站中建立一個純文本文件robots.txt，在這個文件中聲明該網站中不想被robot 訪問的部分，這樣，該網站的部分或所有內容就能夠不被搜索引擎收錄了，或者指定搜 索引擎只收錄指定的內容。html   2. robots.txt文件放在哪裏？數

>>阅读原文<<