robots.txt 簡單解析

簡介

robots.txt 是一個規範，對於執行正常操做的爬蟲理應遵照的規範.

例子

博客園例子

https://www.cnblogs.com/robots.txt

User-Agent: *
Allow: /

容許全部爬蟲爬取網站任何地址。

百度例子

User-agent: Baiduspider # 百度本身的爬蟲
Disallow: /baidu # 不容許本身的爬蟲爬取百度的站點 https://www.baidu.com/baidu.html
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/ # /home/news/data/目錄的全部內容

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/

參考連接

百度站長管理