互聯網爬蟲,蜘蛛,數據採集器,網頁解析器的彙總,因新技術不斷髮展,新框架層出不窮,此文會不斷更新...javascript
交流討論
- 歡迎推薦你知道的開源網絡爬蟲,網頁抽取框架.
- 開源網絡爬蟲QQ交流羣:322937592
- email address: liinux at qq.com
Python
Java
C#
JavaScript
PHP
C++
C
R
Erlang
Perl
Go
Scala
- crawler - 基於Scala DSL的網絡爬蟲.
- scrala - 由Scala開發基於scrapy內核的網絡爬蟲.
- ferrit - 基於Scala開發使用了Akka, Spray,Cassandra的網絡爬蟲.