Hive工程實踐

    最近在參與某toB項目,數據需離線統計出並推送至線上業務庫,其中用hive作的離線分析。總結寫下常見問題及心得吧。app   一.工程類技術範疇:數據統計工做大題劃分爲四步:指標統計、批量腳本、數據格式、異常流程;函數     step1. 指標統計:經過建立表存儲每一個指標的值,例如用hive表loan_apply_rate存儲申請經過率;複雜度在於:指標值多,且指標定義可能不明確;測試
相關文章
相關標籤/搜索