對於反爬蟲的一些思考

1.反爬蟲宗旨 爬蟲與反爬蟲是一個循環往復、互相博弈的過程，並無一種一勞永逸的辦法杜絕全部爬蟲的爬取（更況且搜索引擎也算是爬蟲的一種）。在應用反爬蟲的過程當中，只能作到儘量的識別爬蟲，儘量的提升爬蟲爬取的成本。 對於某些我的的爬蟲來講，若是爬取網站的成本太大（如需多臺「肉雞」、需過長的時間識別反爬蟲策略或破解驗證碼等），我的爬蟲可能大部分都會考慮放棄，畢竟我的資源時間有限。而對於一些商業組織來講，

>>阅读原文<<