網絡爬蟲 Robots協議

Robots協議 Robots Exclusion Standard 網絡爬蟲排除標準 作用：告知網絡爬蟲哪些可以爬取，哪些不可以 形式：在網站根目錄下的robots.txt文件 例如京東的網站： Robots協議基本語法： #註釋  *代表所有  \代表根目錄 User-agent: * Disallow: / Robots協議的使用 網絡爬蟲：自動或人工的識別robots.txt，在進行內容爬

>>阅读原文<<