開源爬蟲框架各有什麼優缺點

開源爬蟲框架各有什麼優缺點？ 做者：老夏javascript 開發網絡爬蟲應該選擇Nutch、Crawler4j、WebMagic、scrapy、WebCollector仍是其餘的？這裏按照個人經驗隨便扯淡一下：php 上面說的爬蟲，基本能夠分3類： 1.分佈式爬蟲：Nutch 2.JAVA單機爬蟲：Crawler4j、WebMagic、WebCollector 3. 非JAVA單機爬蟲：scra

>>阅读原文<<