對於反爬蟲的一些思考

1.反爬蟲宗旨 爬蟲與反爬蟲是一個循環往復、互相博弈的過程，並沒有一種一勞永逸的辦法杜絕所有爬蟲的爬取（更何況搜索引擎也算是爬蟲的一種）。在應用反爬蟲的過程中，只能做到儘可能的識別爬蟲，儘可能的提高爬蟲爬取的成本。 對於某些個人的爬蟲來說，如果爬取網站的成本太大（如需多臺「肉雞」、需過長的時間識別反爬蟲策略或破解驗證碼等），個人爬蟲可能大部分都會考慮放棄，畢竟個人資源時間有限。而對於一些商業組織來

>>阅读原文<<