工做3年，月薪20k+的大數據開發人員，忽然說我不想只作Hadoop、Spark、Flink層面的技

「無論國內或全球「新冠」疫情有多嚴重、還得持續多久，我只想先保住個人工做，若是降薪，我也能在短期找到待遇更好的下一個東家」。
——《大數據就業特訓營》23期學員李斌
2014年作大數據培訓至今，已有5年之多，能夠說大數據技術的發展變化速度之快，用「日新月異」來講絕不誇張。就單從計算引擎領域的發展來講，2014年以前，想必都還在使用MapReduce來作離線計算，速度雖然慢，但能處理TB級別的數據規模，仍是至關興奮的。2014-2018，Spark以其基於內存計算，速度更快等優點強勢入場，大部分大數據人員又一窩蜂的轉向Spark及其生態體系的開發。2017至今，隨着實時應用場景的需求擴大，Flink以其真正的實時計算終於在沉默中爆發，人們又開始轉向Flink及其生態體系的開發。那麼，數據人下一步可能轉向的領域在哪裏？是什麼呢？大批往期學員是這樣說的 「我不想只作Hadoop、Spark、Flink層面的技術開發，我想深刻到數倉體系構建、數據資產管理等核心領域」。我也在想，隨着Hadoop、Spark、Flink開發人員愈來愈多，企業對數據資產管理的重視程度愈來愈高、企業數據化轉型的要求愈來愈迫切，圍繞數據資產管理的大數據開發將註定會成爲一個新的方向，這個方向也將會發展更持久、能力要求更高、薪資待遇更好、發展前景更優。
藉此機會，結合企業真實應用場景爲你們梳理出「5大致系11步流程，掌握打造數據中臺數據資產管理平臺方法論」。

打造數據資產管理平臺，作到「家底清、底數明」

隨着大數據時代的到來，人們已經認識到數據是一種無形的寶貴資產。對於數據的擁有者和管理者來講，經過對數據的合理管理和有效應用，能盤活並充分釋放數據的巨大價值。但若是他們不能對數據進行有效管理，數據就用不起來，或者即便使用起來也用很差，這種狀況下，推積如山的無序數據給企業帶來的是高昂的成本，數據就成爲一項棘手的「負債」。從這個角度來講，是否具有數據資產管理能力已經成爲衡量一家企業可否成功的重要因素。

五大致系十一步流程，逐步打造數據資產池

第1步：業務數據盤點，理清數據臺帳

第2步：數據接入，靈活的多源異構數據接入與存儲

第3步：數據勘探，精準定位數據質量問題

第4步：數據預處理，清洗髒數據

第5步：數據標準體系

第6步：數據標準化

（1）數據標準體系落地

（2）數據標準化效果對比

第7步：數據倉庫建設，標準規範、數據集中、面向業務

第8步：數據加工處理，逐步貼近業務需求

第9步：元數據管理，數據信息的導航圖

第10步：數據資源目錄，讓平臺數據再也不是黑盒子

第11步：數據開放共享，實現數據能力共享

全域數據安全屏障，真正實現管的了控得住