爬蟲平臺Crawlab v0.2發佈

Crawlab是一個專一於爬蟲的集成了爬蟲管理、任務調度、任務監控、數據分析等模塊的分佈式爬蟲管理平臺，很是適合對爬蟲管理、爬蟲工程化有要求的開發者及企業。對Crawlab還不瞭解的童鞋，請移步以前的文章:

• 分佈式通用爬蟲管理平臺Crawlab
• 手把手教你如何用Crawlab構建技術文章聚合平臺(一)
• 手把手教你如何用Crawlab構建技術文章聚合平臺(二)

Crawlab的任務調度核心模塊是基於Celery的，所以自然支持分佈式爬蟲、多節點抓取。Crawlab雖然是用python寫的，但爬蟲不侷限於python爬蟲，理論上可兼容任何語言以及任何框架。從目前開源的框架來看，大部分爬蟲平臺是以scrapyd爲核心，所以只能支持scrapy框架的爬蟲，而Crawlab不只支持scrapy，還支持其餘框架的爬蟲。

更新一覽

v0.2 已完成

• 基礎統計
• 數據分析（爬蟲）
• 網站信息
• 定時任務
• 修復bug

待開發

• 用戶管理
• 上傳爬蟲
• 導出數據
• 高級數據分析（網站、任務）
• 更多爬蟲例子
• 文件管理

截屏

基礎統計（爬蟲）

基礎統計（任務）

定時任務

網站信息

Github: tikazyq/crawlab

若是感受Crawlab還不錯的話，請加做者微信拉入開發交流羣，你們一塊兒交流關於Crawlab的使用和開發。