hive建模分析

建模分析

• 基於訪客系統的案例來進行討論

建模分析目的

• 分析出整個數倉須要哪些層次，哪些表，哪些字段

• ODS層：源數據層

  • 對接源數據，保持和源數據相同粒度

• DWD

  • 任務：

  • 1.清洗。

    • 不完整數據
    • 過時或者無效數據

  • 2.轉換

    • create_time->年月日
    • 或時間戳
  • 3.能夠適當維度退化，減小表的關聯

• DWM：中間層

  • 進一步對明細層進行聚合，譬如能夠將日的記錄先合併，在後期記錄月時能夠更方便的合併

• DWS: 業務層

  • 細化聚合統計，

• APP:應用層

  • 對細化統計結果再次分析
  • 能夠省略

• DIM：維度層

  • 放置維度表數據