如何避免搜索引擎爬蟲產生的流量過大以及搜索引擎設置優化

轉載自：http://www.qiexing.com/post/web-seach-spider.html   今天卻收到了虛擬主機商的報告：說當月流量已經超出15G！ 登錄到後臺的統計才發現，正常的網站瀏覽產生的流量才1G多，而搜索引擎爬蟲（也稱蜘蛛：spider等）產生的流量卻達14G之多！有圖爲證： 爲什麼會搜索引擎爬蟲會產生這麼大的流量，特別是搜狗的爬蟲與bspider爬蟲真是大的驚人，但

>>阅读原文<<