Robots協議

作用 網站告訴爬蟲哪些可以爬取，哪些不能爬取。 https://www.jd.com/robots.txt User-agent: 對於任意的網絡爬蟲來源，它定義爲User-agent Disallow: ? 任何爬蟲哪個都不允許訪問以問號開頭的文件 *代表所有/代表目錄

>>阅读原文<<