有效的進行數據治理和數據管控

大數據時代的到來，讓政府、企業看到了數據資產的價值，並快速開始探索應用場景和商業模式、建設技術平臺。可是，若是在大數據拼圖中遺忘了數據治理，那麼作再多的業務和技術投入也是徒勞的，由於很經典的一句話：Garbage in Garbage out。

當你處理或使用過大量數據，那麼對「數據治理」這個詞你必定不會陌生。你會思考數據治理是什麼？數據治理是否適合你？如何實施。簡單來講，數據治理就是處理數據的策略——如何收集、驗證、存儲、訪問、保護和使用數據。數據治理也還包括誰來查看，使用，共享你的數據。

隨着大數據時代的推動，以上這些問題日益突出，愈來愈多的企業依賴採集、治理、儲存和分析數據，並實現他們的商業目標。數據變成了企業的盈利工具、業務媒介和商業機密。數據泄露會致使法律糾紛，還會令消費者對公司的核心業務失去信心。

若是抱着僥倖的心理，讓各個業務部門本身管理數據，那麼你會缺少有效的數據管理，甚至各部門會本身作本身的。你沒法想象各個部門按爲所欲爲地本身生產、儲存、銷售產品。數據使用不當就像庫存使用不當同樣，會給企業形成沉重的損失。所以必須制定一項測量用以保證所需數據的有效和安全，可用性，這就是咱們要談的「數據治理」。

數據治理的特色

數據治理策略必須包含完整的數據生命週期。策略必須包含從數據採集、清洗到管理，在這個生命週期內，數據治理必需要有關注如下內容：

數據從哪裏來，數據怎麼來

這是數據生命週期的起點。數據來源決定了數據治理策略的基礎。例如數據集的大小就由數據來源所決定。是從目標市場、現存用戶和社交媒體收集數據？仍是使用第三方收集數據或者分析你收集的數據？輸入數據流是什麼？數據治理必須關注這些問題，並制定策略來管理數據的採集，引導第三方處理他們收集的數據或者分析你收集的數據，控制數據的路徑和生命週期。

數據校驗

一般數據源都是很是龐大且多樣的，這是一個讓數據管理者很是頭疼的問題。將數據噪音和重要數據進行區分僅僅只是開始，若是你正從關聯公司收集數據，你必須確保數據是可靠的，對於那些幾萬、幾十萬、甚至成百上千萬的複雜關係數據，單靠人爲的經過Excel對進行數據清洗已經不太現實，須要專業的數據清洗工具或系統對海量複雜關係數據進行批量查詢、替換、糾正、豐富以及存儲。將元數據、主數據、交易數據、參考數據以及數據標準內置固化到數據清洗工具或系統中，結合組織架構、內容管控、過程管控等管理機制、技術標準提升數據治理人員的工做效率。好比：須要手工編寫程序收集的元數據，系統幫你自動獲取；須要人工識別或編寫代碼實現的數據質量檢查，系統幫你自動識別問題；用文檔管理的數據字典，系統幫你在線管理；基於郵件和線下的流程，系統幫你線上自動化。固然，系統並非萬能的，數據治理的軟件工具與其餘軟件工具同樣，沒有什麼神奇之處，沒有數據治理人員的參與和數據治理工做的推動，軟件再完美也沒法完成數據治理整個過程。這也是爲何數據治理諮詢服務一直有其市場，以及爲何國內大部分單純數據治理軟件項目未能達到預期目標。

數據治理必須解決存儲問題

而數據存儲和數據集的大小有密切關係。大數據的存儲必須是在安全的冗餘系統之中。經常利用層次體系，根據使用頻率來存儲數據。這樣一來，昂貴的在線系統提供的是被頻繁請求的數據，而請求頻率較低的數據則存儲在便宜，可用率較低的系統上。固然，一些請求頻率低可是敏感的數據若是存儲於安全性較低的系統上，風險會大大提高。所以，在制定數據存儲方案時，良好的數據治理策略必須考慮到方方面面的因素。

數據治理必須創建訪問管理制度，在需求和安全性找到平衡點

明確訪問者的權限，只能訪問他們對應權限包含的數據。只有合法請求才可以訪問數據，而敏感的數據須要更高的權限和更嚴密的驗證才能夠被訪問。只向具備特定安全級別的用戶開放。應該對用戶和數據自己設置訪問級別，管理帳戶時，應與人力資源部和採購部緊密互動，這一點很是重要，由於這樣能夠及時地使離職員工和中止合做的供應商再也不擁有訪問權限。處理好這些細節以及確保數據全部權和責任，這是構成完整的數據治理策略的一部分。

數據的使用/共享/分析

如何使用數據是數據治理以後一項重要的內容，數據可能會用於客戶管理，提升客戶體驗，投放定向廣告，用戶應用系統初始化基礎數據工做，輔助應用系統建設，提供市場分析和關聯公司共享數據。必須仔細界定哪些數據可用於共享或者用於營銷，並保護它們免遭攻擊和泄露，由於數據原本就應該被用於純粹的內部用途。讓用戶知悉採集數據的全部公司都會遵照數據安全和保證的規定。可以確保數據被合理合規的使用，也是數據治理重要的一項內容。

收集、驗證、存儲、訪問和使用都是數據安全計劃的必要組成部分

收集、驗證、存儲、訪問和使用都是數據安全計劃的必要組成部分，必需要有一個全面的策略來解決這些問題以及其餘安全問題。數據安全計劃必須是有效且可用性高，可是數據生命週期的全部部分都很容易受到攻擊和因爲粗心形成的破壞。你必須在數據治理中肯定數據安全計劃，包括訪問控制，靜態數據，數據加工，數據傳輸以後的加密等。

管理/元數據

沒有管理的數據生命週期是不完整的。例如，將元數據應用於一段數據，用來進行識別檢索。元數據包含數據的來源，採集或生成的日期，信息訪問的級別，語義分類及其餘企業所必須的信息。數據治理能創建一個元數據詞彙表，界定數據的有效期。請注意數據也會過時，過時以後咱們只能用於歷史數據的分析。

數據治理的企業問題

數據治理建立的過程當中可能會在企業內部遭到一些阻力，好比有的人會懼怕失去訪問數據的權限，而有些人也不肯意和競爭者共享數據。數據治理政策須要解決上述問題，讓各方面的人均可接受。習慣了數據筒倉環境的公司，在適應新的數據治理策略上面會有困難，但現在對大型數據集的依賴以及隨之而來的諸多安全問題，使建立和實施覆蓋全公司的數據策略成爲一種必然。

數據日益成爲企業基礎設施的一部分，在企業一步步處理各類特定狀況的過程當中造成決策。它以一次性的方式做出，經常是對某一特定問題的迴應。所以，企業處理數據的方法會由於不一樣部門而改變，甚至會由於部門內部的不一樣狀況而改變。即便每一個部門已經有一套合理的數據處理方案，但這些方案可能彼此衝突，企業將不得不想辦法協調。弄清數據存儲的要求和需求是一件難事，若是作得很差，就沒法發揮數據在營銷和客戶維繫方面的潛力，而若是發生數據泄露，你還要承擔法律責任。

另外在大企業內部，部門之間會展開對數據資源的爭奪，各部門只關注自身的業務狀況，缺少全局觀念，很難在沒有調解的狀況下達成妥協。

所以公司須要一個相似數據治理委員會的機構，他的職責是執行現有數據策略、挖掘未被知足的需求以及潛在安全問題等，建立數據治理策略，使數據的採集、管護、儲存、訪問以及使用策略均實現標準化，同時還會考慮各個部門和崗位的不一樣需求。平衡不一樣部門之間存在衝突的需求，在安全性與訪問需求之間進行協調，確保最高效、最安全的數據管理策略。

成功的數據治理步驟

創建數據治理委員會

負責評估各個數據用戶的需求，創建覆蓋全公司的數據管理策略，知足內部用戶、外部用戶甚至法律方面的各類需求。該委員會的成員應該囊括各個業務領域的利益相關者，確保各方需求都獲得較好地知足，全部類型的數據全部權均獲得體現。委員會也須要有數據安全專家，數據安全也是重要的一環。瞭解數據治理委員會的目標是什麼，這一點很重要，所以，應該思考企業須要數據治理策略的緣由，並清楚地加以說明。

制定數據治理的框架

這個框架要將企業內部、外部、甚至是法律層面的數據需求都歸入其中。框架內的各個部分要可以融合成一個總體，知足收集、清洗、存儲、檢索和安全要求。爲此，企業必須清楚說明其端到端數據策略，以便設計一個可以知足全部需求和必要操做的框架。

有計劃地把各個部分結合起來，彼此支持，這有不少好處，好比在高度安全的環境中執行檢索要求。合規性也須要專門的設計，成爲框架的一部分，這樣就能夠追蹤和報告監管問題。這個框架還包括平常記錄和其餘安全措施，可以對攻擊發出早期預警。在使用數據前，對其進行驗證，這也是框架的一部分。數據治理委員會應該瞭解框架的每一個部分，明確其用途，以及它如何在數據的整個生命週期中發揮做用。

數據測試策略

一般一個數據策略須要在小規模的商用環境中進行測試，用來發現數據策略在框架，結構和計劃上的不足之處並進行調整，以後纔可以投入正式使用。

數據治理策略要與時俱進

隨着數據治理策略延伸到新的業務領域，確定須要對策略進行調整。並且，隨着技術的發展，數據策略也應該發展，與安全形勢、數據分析方法以及數據管理工具等保持同步。

明確什麼是成功的數據策略

咱們須要確立衡量數據治理是否成功的明確標準，以便衡量進展。制定數據管理目標，有助於肯定成功的重要指標，進而確保數據治理策略的方向是符合企業需求。

總結

不管企業大小，在使用數據上都面臨類似的數據挑戰。企業越大，數據越多，而數據越多，愈加須要制定一個有效的，正式的數據治理策略。規模較小的企業也許只須要非正式的數據治理策略就足夠了，但這隻限於那些規模很小且對數據依賴度很低的公司。即使是非正式的數據治理計劃也須要儘量考慮數據用戶和員工數據的採集、驗證、訪問、存儲。

當企業規模擴大，數據需求跨越多個部門時，當數據系統和數據集太大，難以駕馭時，當業務發展須要企業級的策略時，或者當法律或監管提出需求時，就必須制定更爲正式的數據治理策略。