一、經過日誌收集系統將數據獲取並存放到某個存儲介質中,本例能夠使用kafkamysql
二、Storm程序從kafka中消費數據數據,逐條消費的日誌sql
三、Storm程序從數據庫中加載產品人員配置的任務信息數據庫
四、Storm程序計算每一個任務的各項指標,各項指標的中間結果存放在Redis中spa
五、同步程序,按照必定的時間週期從Redis中計算每一個任務的增量數據,並將增量數據存放在mysql數據庫中設計
六、同步程序,按照每一個指標的增量數據計算不一樣維度的基礎數據日誌
七、報表系統從Mysql數據庫獲取每一個每一個指標的基礎數據進行展現orm