大白話六問數據中臺！你想知道的都在這了！

時間 2020-05-20

標籤大白話數據中臺想知道都在简体版

原文原文鏈接

數據中臺、相信這四個字你們必定不陌生。由於在2019年、數據中臺可謂是最火的概念之一，不少大公司都在佈局本身的數據中臺。html

那麼數據中臺究竟是什麼？它和咱們熟知的數據平臺有啥區別？它爲何會這麼火、能給企業帶來什麼價值呢？數據中臺總體架構和全景圖又是什麼呢？前端

筆者有幸參與了公司數據中臺從0到N的建設，計劃從概念到落地，把中臺那些事跟您說透，與您一塊兒分享學習。筆者公衆號：【胖滾豬學編程】數據庫

第一問：數據中臺是什麼

先不說那些官方的抽象的概念了，我想用我本身的大白話去說數據中臺的概念。編程

那就是若是把前臺比做賺錢的。後臺比做支持的。那麼中臺呢就是支持加速賺錢的。安全

這個比喻我以爲仍是很形象的，中臺呢它實質就是前臺和後臺的一個橋樑，而且它能在這當中起到很好的加速效果。這裏的加速，能夠是效率上的提升，能夠是協做上的雙贏。微信

舉個例子，好比前臺業務人員平常要分析廣告投放、在哪一個平臺投放效益最好呢？抖音仍是頭條呢？這直接涉及到公司的money了。架構

前臺人員要分析這個確定要有數據吧、就會向後臺人員要數據：我須要哪些表你要幫我同步過來數倉裏，同步好了你要受權給我，而後你再去配置定時報表任務、配置好了你要再作一個前端的展現頁面。這還沒完，數據有問題了還得跟你逼逼叨叨！佈局

這個流程下來，前臺人員須要向後臺人員溝通100句。有了數據中臺、一句話都不用說了。上面這些操做，前臺人員均可以自行完成。學習

因此說數據中臺給咱們業務效率帶來了巨大的提高。大數據

那數據中臺有沒有缺點呢？

我以爲也是有的，原本後臺那些單身小哥哥能夠蹭這個機會去跟前臺妹子打些交道、說不定姻緣就來了，畢竟前臺妹子多，結果被這數據中臺一搞，一句話都說不上了。這確實是數據中臺的一個缺點。

如今你們應該有個初步的印象了，那麼我再用官方抽象的語句作一個總結：數據中臺是企業級能力複用平臺！企業級大數據經過系統化的方式實現統一共享的數據組織。其中共享包括數據、信息、技術、業務的共享等。它以服務化的方式賦能前臺數據應用，穩定可靠、高效的支持上層業務的快速創新，爲業務快速賦能。

第二問：數據中臺和數據平臺的區別

由於咱們一直以來都是聽數據平臺這個詞聽得比較多，因此第二問咱們仍是要來講一下它們之間的差異。

數據平臺你能夠把它當作是數據集，那麼數據中臺呢他就是數據集API,那麼它們之間就差在API這三個字母上，API我想應該不須要過多解釋呢，你們都知道，好比學JAVA的時候有了JAVA API你才知道怎麼使用，那麼數據中臺至關於在數據平臺的基礎上告訴你這些數據怎麼使用。

另外，數據中臺是偏向於業務的，而數據平臺是偏技術的

可是、數據中臺和數據平臺也有千絲萬縷的聯繫。數據中臺須要依賴大數據平臺，大數據平臺完成了數據研發的全流程覆蓋，而數據中臺增長了數據治理和數據服務化的內容。總的來講，數據中臺吸取了傳統數據倉庫、數據湖、大數據平臺的優點，同時又解決了數據共享的難題，經過數據應用，實現數據價值的落地。

第三問：數據中臺有哪些價值

數據中臺的價值，我想用三個關鍵詞來歸納：效率、協做、質量

效率：好比數據研發的效率、發現數據的效率。爲何咱們每開發一個報表都要改代碼呢？爲何數據有問題的問題的時候，咱們要找好久才能發現是某某上游的問題呢。
協做：不少應用開發，其實不一樣的項目組需求大體相同。仍是用開發報表來舉例，不一樣業務線項目組開發報表都一個套路，但由於是別的項目組維護的，因此就是得分別開發一遍。就不能協做雙贏？
質量：好比數據的一致性、準確性、及時性以及完整性，有沒有一個通用的平臺來檢驗這些數據呢。

上面說的仍是有一點兒抽象，其實要具體回答這個問題，你首先得大概知道數據中臺有哪些功能哪些模塊。好比數據地圖、元數據管理、數據血緣、數據處理等等都屬於數據中臺。每一個模塊都有它的功能，因此它的做用並非一言兩語能夠說得清，這裏筆者再舉一些真實的例子來對比一下：

例一：沒有數據中臺以前，業務人員根本就不知道HIVE數倉有哪些表，不知道這些表的具體信息(列信息、索引信息、分區信息、責任人信息)。他要出一張報表還要來問你:"hello 幫我看一下HIVE有沒有同步這張表吧？hello 幫我看一下這張表是否是分區表吧？"。這個表有問題了，他又要來問你"hello 這張表負責人是誰啊？" 有了數據中臺以後，徹底不須要管了。(這個是元數據管理給咱們帶來的便捷)

例二：沒有數據中臺以前，咱們根本就不清楚表的來源和鏈路，尤爲是一些複雜報表的結果表，來源很是複雜可能涉及到多個系統，涉及十幾個源表。等到上游業務表要作變動、都不知道會影響哪些報表，線上已經運行上千個報表了啊！要去揪出這些來實在是麻煩！有了數據中臺以後，10秒鐘就能解決這個問題。(這個是數據血緣給咱們帶來的便捷)

第四問：數據中臺架構

咱們說數據中臺是服務於公司業務的，所以必需要從本身的業務角度去進行一個全局的規劃和架構。不過你依舊能夠參考一下典型的架構圖：

筆者認爲能夠分爲幾大部分：

數據採集匯聚(數據庫，日誌，前端埋點，爬蟲系統等)
數據處理和開發(離線計算、實時流計算等)
數據治理(元數據管理、數據血緣、數據質量、數據安全等)
數據服務(智能報表、標籤系統、推薦系統、大屏等)

其中、數據採集和數據處理開發，你也能夠理解爲是數據平臺的東西。因爲篇幅問題，不對每個模塊做詳細說明。筆者將在我的公衆號【胖滾豬學編程】詳細分享各個模塊的概念、功能、以及生產落地方案！

第五問：咱們該作數據中臺嗎？

首先一句話：千萬不要跟風。中臺不是你想作想作就能作。

由於要作起一個真正意義上的數據中臺，必定是站在公司的層面去看待，而不是某個業務部門本身玩玩過家家。所以須要很是大的投入，人力、物力的投入。而這些系統是否可以匹配中臺建設的需求，還須要持續打磨。另外必須對公司的總體業務倒背如流，纔能有這種全局的視野去建設中臺。

那什麼狀況下咱們能夠考慮建設中臺呢？

企業是否有大量的數據應用場景？數據中臺自己並不能直接產生業務價值，數據中臺的本質是支撐快速地孵化數據應用。因此當你的企業有較多數據應用的場景時（通常有3個以上就能夠考慮）
企業存在較多的業務數據的孤島，須要整合各個業務系統的數據，進行關聯的分析，此時，你須要構建一個數據中臺。好比在咱們作電商的初期，倉儲、供應鏈、市場運營都是獨立的數據倉庫，當時數據分析的時候，每每跨了不少數據系統，爲了消除這些數據孤島，就必需要構建一個數據中臺。
當你的團隊正在面臨效率、質量和成本的苦惱時，面對大量的開發，殊不知道如何提升效能，數據常常出問題而一籌莫展，老闆還要求你控制數據的成本，這個時候，數據中臺能夠幫助你。
當你所在的企業面臨經營困難，須要經過數據實現精益運營，提升企業的運營效率的時候，你須要構建一個數據中臺，同時結合可視化的Bl數據產品，實現數據從應用到中臺的完整構建。
企業規模也是必需要考慮的一個因素，數據中臺由於投入大，收益偏長線，因此更適合業務相對穩定的大公司，並不適合初創型的小公司。