開源爬蟲框架各有什麼優缺點？

做者：老夏 開發網絡爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector仍是其餘的？這裏按照個人經驗隨便扯淡一下：上面說的爬蟲，基本能夠分3類：1.分佈式爬蟲：Nutch 2.JAVA單機爬蟲：Crawler4j、WebMagic、WebCollectorjavascript 3. 非JAVA單機爬蟲：scrapyphp Python 爬蟲的工具列表

>>阅读原文<<