數據驅動是一種文化

數據驅動是一種文化

大數據這件事，總體上仍是說的多一些，作的稍微少一點。大數據能夠是荒涼高原上波瀾壯闊的機房，也能夠潤物細無聲般融入到平常生活和工做。換句話說，大數據應該是一種文化。

在我的層面，不少人對數字和計算並不敏感，經過經驗進行判斷很容易出現誤差，由於所知所感與真實世界之間有很大差異。數據驅動的首要條件是要針對業務痛點提出問題，層層深刻且具有邏輯推理特性；這以後纔是進一步轉化爲數據問題，而後從數據角度去創建決策邏輯。若是是可視化、動態的決策過程，那確定是有助於提升效率，這也是目前智能化的一個重要目標，更加smart。

在企業層面，創建數據驅動型決策機制是數據治理的最高境界，對傳統企業來講任重道遠，可以發揮些許數據價值已然是最佳實踐了。數據治理的好很差，關鍵仍是看用的效果如何。伴隨數據應用的發展趨勢，數據治理的目標對象也將由基礎數據逐步變成以數據挖掘爲核心的大數據資產化應用。換句話說，就是之前圍繞數據倉庫或BI系統完成的治理工做，目前能夠很順暢的過渡到大數據智能化項目了，包括後面要討論的敏捷BI。

企業應當創建一套完整的從數據收集、整理、報告到轉化成行業洞見和決策建議的流程，固然最重要的是這些洞見和決策建議真正可以被企業決策者使用，也就是數據價值變現。下面這張圖的每部分均可以展開，再也不贅述，能夠參考《創造數據驅動型企業》。後面主要聊的是數據驅動實踐中的一些經驗，從敏捷BI角度出發，討論相關概念、工具、組織、流程等內容。不是完整系統的闡釋，而是有所挑選的呈現。

傳統BI與敏捷BI

商業智能（BI）描述了一系列的概念和方法，經過應用基於事實的支持系統來輔助商業決策的制定；商業智能技術提供使企業迅速分析數據的技術和方法，包括收集、管理和分析數據，將這些數據轉化爲有用的信息，而後分發到企業各處。

傳統BI系統，一般指企業內部大而全的統一報表或分析平臺；多爲固定週期性報表，開發部署流程繁瑣耗時長，主要靠科技部門出工出力。

敏捷BI，極速BI，或者說自助式BI，面向的更可能是不具有IT背景的業務分析人員，相比之下更靈活且易於使用，並且必定程度上可以擺脫對IT部門的重度依賴。數據分析工做，逐漸向「業務主導的自助分析模式」發展。敏捷BI須要提供便於交互分析的可視化界面，快速響應用戶的探索式數據分析需求，同時可以在企業內部分享和查看分析結果。

工具層面國外以Tableau和微軟的產品最佳，國內帆軟也是表明，其對應產品系列在功能上均可以知足敏捷BI的開發部署。也以Desktop爲例，Tableau的可視化分析更加方便，PowerBI額外支持ER關係構建，FineBI的開發性能針對各類業務狀況，可謂各有千秋。對銀行、電信等傳統企業來講，Tableau更適合一些，由於基礎數據服務能力可以支持Tableau充分發揮可視化分析的優點。對我的來講，PowerBI很厚道的提供了功可以用的免費版本，且更新速度很快。

BIU與DSU

BIU這個名詞是有的，DSU的概念是我本身瞎掰的。BIU是business intelligence unit， DSU是data science unit。在目前的狀況下，這兩個實際上是等同的，我的更傾向於數據科學團隊的創建。

商業智能是對各項技術的綜合應用，其組織架構或者能力要求都包括了業務能力和數據開發能力，而數據科學更包括對機器學習、人工智能等高階能力的配備。數據科學家的要求在於全能，高精尖，實際不少傳統企業並不須要這類人才。企業須要一支可以快速響應業務需求的數據科學團隊，包括業務人員、數據分析人員和數據開發人員，湊在一塊兒匹配數據科學家。

這個團隊可以幫助數據部門從成本中心逐漸轉化爲利潤中心，這不是隨便說說，大數據應用除了幫助得到同業競爭優點，顯然也有直接創造利潤的潛力。看看如今頂尖的Fintech公司，都開始變成Techfin了。

如何創建DSU呢？或者說構建DSU的基礎有哪些呢？我認爲這個須要業務和技術兩方面的基礎條件，缺一不可。在業務關鍵流程中須要應用數據挖掘模型以提高能力，而且在主要業務條線均存在這種訴求，這就是業務上的基礎條件。在技術上須要積極且堅決不移的探索大數據分析挖掘應用，具有可以將學術和產業界新成果轉化爲實踐應用價值能力的團隊。

對傳統甲方來講，這個領域的自主可控相當重要；至少作到一點，那就是甲方人不動，乙方能夠隨便更換。咱們都是數據科學工程師，致力於將學術界和產業界數據挖掘、機器學習領域先進成果轉化爲企業生產力。探索性的工做中樂趣仍是佔主導的，但創新任務多了有時候也會很頭痛，大量操心操力亞歷山大。

套路化的開發流程

之因此說是套路化，由於是直接從管理辦法裏面搬出來的，稍加改動。

首先是數據準備與開發，收集敏捷BI產品開發需求的相關企業內部、外數據，肯定所需數據範圍、類型及數據量；針對所需企業內部數據，執行對應數據服務、數據調用等規範流程，完成數據採集準備；針對企業外部數據採集，記錄並整理相關數據資源信息，進行集中存儲及管理；創建數據間的關聯關係，並檢驗數據質量狀況；基於需求目標、數據質量及技術限制等狀況，選擇敏捷BI產品開發使用的數據集合，並對數據進行清理轉換，並根據要求執行格式化等操做。

而後是分析挖掘模型孵化與開發，結合實際任務，進行數據分析模型或數據挖掘模型的孵化；對模型進行開發，並持續優化以肯定模型相關數據、特徵、算法及參數；協同業務需求方共同驗證模型效果，同時在整個敏捷BI產品生命週期內對模型進行跟蹤，依據狀況進行調整。

最後是可視化設計與開發，選擇合適的可視化方法對內容進行封裝，包括數據架構、頁面佈局以及圖表各類功能設計；肯定可視化需求方案，並完成前端交互開發及後臺對應數據開發；與業務需求方溝通，跟蹤反饋狀況並對可視化方案進行優化。

數據之路漫漫

數據驅動應該是一種文化，不一樣于堅持增加黑客理念的互聯網企業，許多傳統行業彷佛缺少對應的目標及凝聚力，加上各類各樣的緣由，數據驅動文化的構建過程異常緩慢。

大數據在持續發展，君不見3v、4v已經發展到了42個V。對處於業務轉型期的企業來講，見或不見，數據就在那裏；作或不作，雖然遲早都會被淘汰，但晚點可能就會鳳凰涅槃了呢。