Flink實時數倉實現方案

先介紹一下集中主流的數倉架構 - lambda 缺點:有離線和實時兩套代碼,運維和開發成本高。對資源的佔用高。 - kappa 缺點:業務變更時,需要重新編寫代碼。並且保證消息隊列中的消息存放一定的時間。新啓動一個任務,從某個歷史時間消費消息隊列中的數據,直到新任務消費消息的偏移量和舊任務消費齊平的時候。就可以停掉舊任務。舊任務產生的結果表就可以刪除。 - 實時OLAP變體 他和kappa架構不同
相關文章
相關標籤/搜索