IIS設置文件 Robots.txt 禁止爬蟲

robots.txt用於禁止網絡爬蟲訪問網站指定目錄。robots.txt的格式採用面向行的語法：空行、註釋行（以#打頭）、規則行。規則行的格式爲：Field: value。常見的規則行：User-Agent、Disallow、Allow行。

User-Agent行

User-Agent: robot-name
User-Agent: *

Disallow和Allow行

Disallow: /path
Disallow:           # 空字符串，起通配符效果，全禁止

Allow: /path
Allow:              # 空字符串，起通配符效果，全容許

搜索引擎的User-Agent對應名稱

搜索引擎	User-Agent值
Google	googlebot
百度	baiduspider
雅虎	slurp
MSN	msnbot
Alexa	is_archiver

我在Linux上抓包觀察到的一些搜索引擎訪問記錄：

# tcpdump -n -nn -A -l -s1024 'tcp port 80'|grep User-Agent
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
User-Agent: Googlebot-Image/1.0
User-Agent: Feedfetcher-Google; (+http://www.google.com/feedfetcher.html; 5 subscribers; feed-id=4619555564728728616)
User-Agent: Mozilla/5.0(compatible; Sosospider/2.0; +http://help.soso.com/webspider.htm)
User-Agent: Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )
User-Agent: Mozilla/5.0 (compatible; JikeSpider; +http://shoulu.jike.com/spider.html)

JikeSpider是即刻搜索（人民搜索）。

robots.txt的補充

若是你沒有對網站根目錄的寫入權限（沒法創建robots.txt文件），或你想要某個指定的網頁不被搜索引擎收錄，能夠使用元標籤阻止爬蟲訪問：

 name="robots" content="noindex">              

 name="googlerobot" content="noindex">         

robots元標記的默認值爲"index,follow"，它的取值能夠是（來自Google站長幫助）：

noindex

防止網頁被編入索引。

nofollow

防止googlebot今後頁面中跟蹤連接。

noarchive

防止Google顯示網頁的快照連接。

noimageindex

不被Google圖片搜索索引。

現實中的robots.txt

淘寶屏蔽百度

淘寶屏蔽了百度抓取（2008年9月），http://www.taobao.com/robots.txt的內容：

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

百度與360的搜索引擎之爭

2012年8月，360推出搜索引擎，並與百度發生正面衝突。百度工程師跑出來講360違反robots協議，偷竊百度內容。以百度知道爲例，http://zhidao.baidu.com/robots.txt的內容大體是這樣：

User-agent: Baiduspider
Disallow: /w?
Allow: /

User-agent: Googlebot
User-agent: MSNBot
User-agent: Baiduspider-image
User-agent: YoudaoBot
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: Sogou blog
User-agent: Sogou News Spider
User-agent: Sogou Orion spider
User-agent: JikeSpider
User-agent: Sosospider
Allow: /

User-agent: *
Disallow: /

也就是說對360爬蟲而言，應該走最後一條規則，也就是禁止抓取百度知道全部內容。但從360搜索看，有百度知道的內容。