Robots-網絡爬蟲排除標準協議

Robots Exclusion Standard 網絡爬蟲排除標準 作用：網站告知爬蟲哪些頁面可以抓取，哪些不行 形式：在網站根目錄下的robots.txt文件 案例：京東的robots協議 https://www.jd.com/robots.txt Robosts協議的基本語法： *代表所有 /代表根目錄 其他網站的robots協議 robots協議的遵守方方式 網絡爬蟲：自動或人工識別rob

>>阅读原文<<