數據倉庫設計與實現入門(一、ODS/DW/BN簡介)

一、從數據流的邏輯上來講,數據主要分爲ODS層(原始日誌數據),DW層(數據倉庫),BN(統計結果數據) Spark/SparkStreaming任務加載原始日誌(離線處理flume落地到hadoop集羣的hdfs或實時消費kafka數據)提取業務最原始數據,根據業務邏輯生成ODS層數據(分類/分流後的原始日誌);再根據業務場景進一步將業務ODS層數據劃分到DW層(處理後的數據模型);最後跟據具體
相關文章
相關標籤/搜索