實時數倉架構設計

整體架構圖   數據訂閱同步(ODS) 實時流訂閱 前期同步 binlog,埋點數據 離線數倉同步 根據實時數倉業務需要,同步相應離線數倉維表   實時數倉(DW) 數據明細層(DWD) 訂閱來自 ODS 層的流數據,過濾無效數據,測試數據等,保留明細數據流 數據分流層 根據訂閱流中不同 topic,分流不同數據,如總日誌埋點數據中,經過分流層後,可分流出不同業務的日誌數據(訂餐埋點,廣告埋點等)
相關文章
相關標籤/搜索