Springboot輕量實時統計服務

DataM

DataM是基於Spring boot,Redis,Mysql,阻塞隊列組成的實時數據採集服務,採用Spring boot做爲運行框架,多線程異步執行任務, 並經過線程安全隊列緩衝達到較高可用的目的git

內容:

使用Redis作消息隊列,實時數據上報

data-app-service用於接收http上報數據

data-app-consumer用於接收Redis隊列數據

data-app-recover用於恢復數據,直接導入數據庫

技能點:

Spring boot異步事件
Redis發佈/訂閱服務
多線程讀取任務
簡單數據容災恢復
數據在線實時採集
消息隊列緩衝
數據庫表切分
數據庫分區表github

總體流程:

圖片描述
地址:https://github.com/V-I-C-T-O-...sql

相關文章
相關標籤/搜索