從頭學習爬蟲（二十六）創新篇----Robots.txt

什麼是robots文件 robots是站點與spider溝通的重要渠道，站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。爲了避免站長在設置robots文件時出現，百度站長平臺特別推出了robo

>>阅读原文<<