數據倉庫之系統數據流程設計

數據加工的整體流程設計如下圖： 數據源： 業務交互數據 前端埋點用戶行爲數據 數據走向： 業務數據上傳到mysql數據庫中，有些表需要每天進行更新，從業務服務器上傳的數據每天都會有變化，數據庫就是便於較少數據的增刪改查。最終將數據通過sqoop上傳到hdfs，在用sqoop上傳時，可能運行時間比較長，例如20多張表需要一個小時纔可以完全上傳成功。 埋點的用戶行爲數據 儲存在特定的linux目錄中，

>>阅读原文<<