數倉建設，數據分層

概述 粗放型的數據接入，對數據使用不利。 作用：屏蔽原始數據的異常，便於血緣追蹤，清晰數據結構，減少重複開發，複雜問題簡單化，屏蔽業務影響。 分層參考，實際情況實際分析： 1/ 數據源—ODS 數據源包括日誌/Oracle等/其他hive庫 日誌—hive,jar解析 oracle—sqoop導入 其他hive—走程序申請權限，接入 數據先接入到臨時表，然後處理處理：規範年月日時間長度，規範nul

>>阅读原文<<