如何準確判斷請求是搜索引擎爬蟲（蜘蛛）發出的請求？

轉載地址：http://www.cnblogs.com/yukaizhao/p/python-test-ip-is-searchengine-spider.html html 網站常常會被各類爬蟲光顧，有的是搜索引擎爬蟲，有的不是，一般狀況下這些爬蟲都有UserAgent，而咱們知道UserAgent是能夠假裝的，UserAgent的本質是Http請求頭中的一個選項設置，經過編程的方式能夠給請求設

>>阅读原文<<