千億項目理解

數倉項目架構： 項目流程 1、原始數據在mysql存儲 2、使用kettle將數據在mysql同步到數據倉庫（hive）,（同步分爲第一次全量+每天的增量=拉鍊表（目標：既能夠保存歷史的數據，又不會有數據冗餘）） 3、hive數倉內結構 Hive內部結構： ODS: 存儲在數據源同步過來的數據 DW：對ODS存儲的數據進行過濾、填充，預計算，以及數據的拉寬。（拉寬：就是將業務上需要的字段，但是字段

>>阅读原文<<