以自動化爲核心的自服務大數據治理
本文轉自微信號EAWorld。掃描下方二維碼，關注成功後，回覆「普元方法+」，將會獲得熱門課堂免費學習機會！本文轉自微信號EAWorld。
目錄：
一、傳統數據治理難以滿足數字化要求，企業需要新一代大數據治理
二、如何實現以用戶爲中心的自服務的大數據治理？
三、自動化是自服務大數據治理的核心
四、總結
一、傳統數據治理難以滿足數字化要求，企業需要新一代大數據治理
1、大數據平臺建設浪潮過後，企業深刻認識到數據治理的重要性
經歷過廣泛的大數據平臺建設浪潮之後，數據問題變得越來越多，這兩年數據治理變得越來越熱，各行各業都深刻意識到了數據治理的重要性。這點從我們的客戶分佈就可以看出來：五年前過來找我們做數據治理的都是金融行業的客戶，現在證券、航空、政府、電網、製造、物流等一系列新的行業客戶也紛紛來找我們做數據治理了。爲什麼現在各行各業都這麼關注數據治理？我覺得有幾個方面的原因：
國家政策
自從國家發佈《促進大數據發展行動綱要》以來，國家連續出臺了多個與數據建設相關的政策，持續不斷地推進國內大數據建設，強調數據的重要性，而在數據價值獲得的過程中，數據的質量問題越發突出和嚴峻，這樣拉開了國內數據治理的序幕。
外部監管要求
在銀行業，銀監會持續增加對金融企業的監管力度，在保險行業，保監會也提出了數據治理的要求，在證券行業，證監會也提出了行業數據治理體系和標準化的相關舉措。
企業自身需求
國內企業廣泛經歷大數據平臺建設的浪潮，但真正能爲業務發揮效益的成功案例卻少之又少，海量數據下暴露的數據資產不清晰、數據質量不高等數據問題已經嚴重影響了大數據應用的發展，不少企業都開始針對數據治理立項。如南網，國網，華爲等大型企業。
2、傳統管控型的數據治理還能解決現階段企業的數據問題嗎？
大數據時代，數據治理的本質還是解決數據的問題，我覺得現階段企業建設大數據平臺的突出問題主要體現在以下四個方面：
數據不可知：
用戶不知道大數據平臺中有哪些數據，也不知道這些數據和業務的關係是什麼，平臺中有沒有能解決自己所面臨業務問題的關鍵數據？該到哪裏尋找這些數據？
數據不可控：
沒有統一的數據標準導致數據難以集成和統一，沒有質量控制導致海量數據因質量過低而難以被利用，沒有能有效管理整個大數據平臺的管理流程。
數據不可取：
用戶不能便捷自助地拿到數據，相反，獲取數據需要很長的開發過程，導致業務分析的需求難以被快速滿足，漫長的需求響應時間難以滿足快速增長的業務需求。
數據不可聯：
企業員工難以做到數據與知識之間的快速轉換，不能對數據進行自助的的探索和挖掘，數據的深層價值難以體現。
原來的數據治理基本上都是管控型的，比如說原來銀行業的數據治理，強調的是管理流程和管理規範，主要目標是做管控，但是通過上面的問題分析我們看到，在大數據平臺階段，用戶對數據治理的需求持續增長，只是管控已經很難解決企業面臨的諸多數據問題了，我們需要重新思考新的數據治理形式。
3、大數據時代，數據治理應該從管控型向服務型轉變
原來數據治理往往就是數據平臺上面或者下面的一條橫線，是在數據平臺之外的，是隻起管控作用的。在大數據平臺階段，用戶範圍從數據部門擴展到全企業，數據治理不能再只是負責管控了，更多時候是爲用戶提供服務，在這時候，數據治理應該不僅僅是數據平臺上面的一個橫條，而是應該變成整個平臺到用戶中間的豎條，成爲數據與用戶之間的中介。
我們現在要做的，就是把數據治理從「管控型」轉變成面向全企業用戶的「服務型」數據治理，從給用戶提供服務的角度，給大家提供一個數據的工作環境，管理好數據的同時爲用戶提供自助獲得大數據的能力。
在企業環境中，各種各樣的用戶都會有數據方面的需求，我總結了七類用戶，數據治理需要給他們提供相應的數據服務，不是再像之前那樣只建立和落地管理流程，而是讓大家在用數據的時候，自然地把數據管理的事情做好。
未來，數據治理將從只是面向數據部門轉變成全企業用戶的智能數據工作環境，通過數據治理把業務和技術數據結合在一起，讓全企業的工作人員都能以自服務的方式使用和操作數據。
二、如何實現以用戶爲中心的自服務的大數據治理？
數據治理不應該只是負責管，而是應該從「管、看、找、用」這四方面爲企業用戶提供價值。
管：幫助企業管理海量數據，保證業務創新數據的可靠性
如何把數據管理好，依然是未來大數據治理的基礎和重點。只不過數字化時代企業的數據來源比以前更廣了，而且大部分是媒體、視頻、物聯網傳感器等非結構化數據，這些數據遠比以前更加難以管理，在這種形勢下，通過原來那種人工梳理和管理的方式已經很難把數據管理好了，我們需要更加自動化的方式管理數據。
看：提供360°視圖，幫助用戶從多角度認識企業大數據
把技術元數據、業務元數據，包括指標之間的關係都獲取到以後，我們要讓大家能看到數據是什麼樣的，這是我們根據自動化採集而做出的一系列的展示方式，通過數據地圖、主題圖、導航圖、業務數據流圖以及大屏顯示等展現方式從財務、人力、策略、外部、組織、IT、治理、過程、項目等多種角度展示企業的大數據情況，使企業中的各種角色都能找到理解大數據的方式，從而提升企業角色對大數據的整體認識。
找：打通業務與數據的關係，幫助用戶快速「淘」到所需數據
大數據時代，充分釋放數據價值的前提是讓企業人員能夠自助查找數據。現在用戶普遍比較適應「淘寶、京東」式查找，通過機器學習技術形成企業業務的知識圖譜的方式有效地管理業務元數據，通過自動化工具管理技術元數據，實現二者的有效關聯並打通數據間關係，能讓企業用戶能夠像網購時挑選商品一樣來查找企業數據環境中的數據。
用：減輕IT人員負擔，爲業務人員提供自助數據準備能力
之前數據準備工作常常依賴於大量工具和多名IT人員，應用開發者提需求，提完需求有專門的數據工程師做ETL，交付的速度跟不上，中間過程中還容易出現問題，帶有自服務能力的大數據治理平臺，能在業務人員找到所需數據後，自動將數據準備好並通過統一工具的可視化的交互界面提供給業務人員，讓業務用戶快速拿到需要的數據，從而將更多精力投入到如業務相關的數據分析中。
普元自服務大數據治理經典案例
經過一段時間的摸索，我們幾乎先後在各大行業成功完成了自服務大數據治理項目的實施，在這裏給大家舉幾個比較有代表性的
某航空公司：以數據架構爲核心的服務化數據治理
航空公司的問題是有很多國內外的系統，整個的數據架構處在一個混亂的階段。某大型航空的數據治理除了數據治理體系的建設之外，從一開始就確立了服務化的思路，我們用整個自動化的方式，幫他梳理了他所有的數據的架構，以自動化的能力支撐管理體系的執行，同時在數據架構的梳理之上提供數據服務的能力，使數據治理不僅僅爲管控，也給了客戶瞭解數據，使用數據的整體工作環境。
某政府：打通數據與應用鴻溝的自服務數據治理平臺
某政府部門的自服務數據治理，從一開始的目標就是解決應用與數據之間的鴻溝，在這個項目裏我們完美地實現了整個數據的尋找過程，在公安領域，偵察員查找數據的時候都比較急，他需要在我們平臺上找到並拿到他想要的數據，然後直接做分析。這個過程中我們解決了資產不清、數據質量不高，以及業務和數據難協作的問題。通過理清數據情況，監控數據質量，提供自主服務，使偵查員可以通過數據資產的查找自動化形成數據通道，在應用中使用數據，發揮數據的價值。
某電網公司：以元數據爲驅動，有業務針對性的數據自服務平臺
普元與某電網公司規劃與落地了自服務數據治理平臺，管理了該電網某省公司的業務模型，同時建立了模型和技術元數據間的對應關係，落實了數據模型和技術間的關係。同時從服務的角度，建立了自服務的能力，讓用戶通過業務模型自助獲取數據，分析數據。形成了以服務化爲先導的數據治理體系和業務人員的數據工作環境。
三、自動化是自服務大數據治理的核心
在大數據時代，傳統的以人工爲主的手段無論從人性的角度還是從數據量的角度都不能夠滿足企業的需求，落地自服務的大數據治理需要更自動化的手段。原有的技術手段、產品能力，都需要進一步的升級。
我們總結出了五個方面的自動化示例：自動化支撐數據標準構建、自動化規範系統數據模型、自動化構建企業數據地圖、自動化實現數據協同變更、自動化形成大數據生產線。
自動化支撐數據標準構建
原來數據標準的構建是一個強梳理的過程，但這樣出來的標準往往很難落地。其實標準不在好壞，在於是否符合企業自身情況。構建數據標準要從自動化的數據資產梳理開始。通過元數據管理工具自動摸清企業有哪些數據，在什麼地方，在這些都明確的基礎上，自動對元數據進行歸集和分類，將分類結果經過甄別評審後歸集到定義好的數據標準分類體系上，整個過程在線上完成，實現數據標準構建的自動化支撐。
自動化規範系統數據模型
原來標準落地的方式是把建好的標準給各個業務部門，要求他們設計模型的時候按照標準來，最後還是需要人工做對應。現在我們需要把整個的過程前置，前置在建模型的時候就要做標準，業務模型、邏輯模型、數據模型要能在線上設計完成，在設計的過程中就能引用數據標準，以此來達到規範模型的目的。
自動化梳理企業數據資產
剛纔說的這兩點很核心的就是需要梳理企業的資產，下圖是我們產品裏內置的自動化採集器的不完全的列表，正是有這樣的列表，我們纔可能自動化採出這樣的圖，包括自動化的數據地圖，自動化的業務設計，以流程爲主的數據的設計，包括業務模型。
自動化實現數據協同變更
在數據鏈路上，任何一個點上數據結構的變化必將影響其他節點上的數據，我們需要一種自動化的能力實現全數據協同變更。當一個重要的數據變更以後，我們再也不需要到處走線下的紙製流程，讓各個業務部門確認了。而是自動化線上分析這個重要數據到底影響誰，影響程度什麼樣，每一次數據變更都變成一個自動化過程。下圖是一個典型的案例場景。
自動化形成大數據生產線
然後整個的生產中我們需要有自動化的能力，包括數據的獲取、數據的準備，數據的服務開發，以及數據發佈。形成一條自助的數據生產線，在這樣一系列的自動化的指引下，纔有可能實現數據治理的自服務能力，也真正讓業務人員獲得好處。
四、總結
最後，總結一下本文的內容。首先企業的數據治理未來一定是向服務化發展，我們不能再走銀行現在的這條管控的路，因爲數據量變得太大，數據的範圍也變得太廣，我們需要有服務化的思想，去想我們怎麼能爲業務服務，爲開發服務，在服務的過程中給大家提供整個企業的工作環境，並且用自動化的能力把服務化的數據治理做好。現在數據治理變得越來越重要，我也相信未來數據治理工作將會越來越重要。
關於作者：
王軒
普元信息軟件產品部副總、大數據產品部總經理、中國大數據產業生態聯盟專家委員會專家委員、中國數據大工匠、國內數據標準化及治理領域專家、國際數據管理協會（DAMA）會員。有十年大型企業信息化架構設計與建設經驗，曾任中國人民銀行核心架構師，現全面主持普元大數據產品部的研發、拓展及團隊管理工作，主持參與了銀行、證券、保險、航空、電力、政府、公安等多個領域的大數據治理項目建設。
關於EAWorld
微服務，DevOps，元數據，企業架構原創技術分享，EAii（Enterprise Architecture Innovation Institute）企業架構創新研究院旗下官方微信公衆號。
掃描下方二維碼，關注成功後，回覆「普元方法+」，將會獲得熱門課堂免費學習機會！
微信號：EAWorld，長按二維碼關注。