Labin、OpenSpider、天網 三款爬蟲對比分析

    Labin、OpenSpider、天網 是三款比較著名的網絡爬蟲，其中天網如今已經作成了分佈式爬蟲，據稱天網在ftp搜索方面水平比較高。這三款爬蟲本人都接觸過，對於Labin和天網的源代碼也研究過一段時間。、html     Larbin:linux     首先，Labin採用的socket方式是 單線程非阻塞式的爬取。具體的技術實現採用 linux/unix的poll輪詢接口。當Lar

>>阅读原文<<