2020-08-17

數倉項目 咱們的數倉項目從數據來源來講分爲兩類,用戶行爲日誌(web端,微信小程序,APP,前端頁面埋點)和業務數據庫,從技術架構上說,分爲ods,dwd,dws,ads層. (1)ODS層是一個數據採集匯聚層,操做的是最原始的數據,主要的任務是:用flume採集第三方日誌,和用sqoop進行業務數據庫的抽取,要與原始的數據保持一致,採集過來的數據以json格式存儲,通常存儲的週期爲三個月.

>>阅读原文<<