Crawlab Lite 正式發佈,更輕量的爬蟲管理平臺

Crawlab 是一款基於 Golang 的分佈式爬蟲管理平臺,產品發佈已經一年有餘,通過開發團隊的不斷打磨,即將迭代到 v0.5 版本。在這期間咱們爲 Crawlab 加入了大量社區用戶共同指望的功能,使產品更加專業。但與此同時咱們也注意到,部分用戶並非分佈式爬蟲用戶,他們更多隻是在單機狀況下使用 Crawlab。其次目前 Crawlab 逐步加入了豐富的功能,也使整個產品逐漸巨化,大部分用戶並不能充分使用全部的功能。git

所以 Crawlab Lite 做爲 Crawlab 的輕量化版本正式發佈,相較於 Crawlab,該版本將專一於解決單機環境下的爬蟲管理,而且平臺自己再也不依賴任何外部數據庫,現有以及將來加入的功能都僅限於高頻使用的必需功能,作到最大化的功能剋制。github

功能特性

首次發佈的版本爲 v0.0.1 版本,該版本做爲首個體驗版本,已經具有了 Lite 版規劃的核心功能,相較於 Crawlab 主要區別:docker

  • 僅支持單機環境下的爬蟲管理,再也不具有分佈式功能
  • 內置依賴 Key-Value 文件數據庫,運行再也不須要配置外部數據庫
  • 刪減了大量非必需的功能,平臺更加輕量與易用
  • 後端代碼大量重構,平臺的穩定和速度大幅提高

運行方式

咱們依然保留經過 docker-componse 這種最方便的方式:數據庫

  1. 在任意目錄下建立 docker-compose.yml,內容以下:
version: '3'
services:
  master:
    image: zkqiang/crawlab-lite:latest
    container_name: master
    ports:
      - "8080:8080"
  1. 在目錄下運行命令:
docker-compose up -d
  1. 訪問 http://localhost:8080

項目地址

https://github.com/crawlab-team/crawlab-lite後端

項目截圖

爬蟲列表

任務列表

定時列表

任務日誌

相關文章
相關標籤/搜索