Digger爬蟲平臺正式開源啦！

Digger爬蟲平臺正式開源啦~

通過三個月的開發測試，Digger爬蟲平臺正式在Github開源啦~

Digger是什麼？

Digger是用純Golang開發的配置式分佈式跨平臺爬蟲系統，支持使用Javascript編寫插件來實現各類你想要達到的目標。Digger及相關組件可以以極低的資源開銷運行在各類廉價服務器和開發板上，如樹莓派。
Digger沒有複雜的依賴，部署十分簡單，支持Linux和Windows平臺，目前支持的CPU架構有：amd64, arm, arm64

項目地址：https://github.com/hetianyi/digger
文檔：https://docs.diggerit.me/
在線體驗：https://demo.diggerit.me/

您能夠在 Demo演示環境 快速體驗功能。

因爲資源有限，請合理使用演示環境，定時任務會在天天0點清理數據。

功能簡介

• 支持使用Css選擇器和Xpath選擇器
• 支持多種結果類型：plain text，html，array等
• web端爬蟲配置編輯器
• 在線調試爬蟲配置，精準定位問題
• 支持插件功能
• 實時瀏覽爬蟲日誌
• 結果在線瀏覽、導出，一鍵生成數據庫schema（postgres和mysql）
• 定時任務
• 支持暫停任務
• 分佈式worker實例，有效避免爬蟲被block
• 支持任務和worker標籤匹配調度功能
• 支持配置導入導出
• 郵件通知功能
• 釘釘通知功能（TODO）
• DiggerHub支持爬蟲配置分享（TODO）

項目截圖

Enjoy your crawling!