精讀《數據之上·智慧之光 - 2018》

時間 2019-12-13

標籤精讀數據之上智慧之光简体版

原文原文鏈接

1. 引言

本週精讀內容是：《數據之上智慧之光》，由帆軟軟件公司出品。前端

帆軟公司是國內一家作大數據 BI 和分析平臺的提供商，主打產品是 FineBI。筆者所在阿里數據中臺也處於數據分析應用的前沿，本次精讀的文章就是帆軟公司的《數據之上智慧之光 2018》，感謝提供這份國內數據市場研究報告，讓咱們更深刻全面的瞭解國內數據市場的發展方向。git

隨着 5G 的逐漸推行，網速比 4G 提升了 100 倍，將會爲物聯網打下通訊基礎，將來的世界將人與物、物與物進行互聯。隨着愈來愈多的設備接入網絡，產生數據，而將來還有 6G、7G 將網速繼續提升至 1 萬倍、1 百萬倍，利用衛星實現全球網絡覆蓋，將現實與虛擬融合等等，無不須要強大的數據處理分析技術才能掌握。github

數據的總量將呈幾何倍數上升，若是不能提早對數據的存儲、處理、挖掘和分析提出一套解決方案，那麼 5G 時代的海量數據就是人類社會的累贅，若是有一套數據處理與分析的方案，咱們就有可能掌握海量的數據爲本身所用，利用數據進一步推進人類社會向前發展。數據庫

上面是對將來的暢想，那麼我國現階段國內的數據市場的容量、需求是什麼樣呢？《數據之上智慧之光》這本書給了咱們答案。後端

PS：本文使用 2018 年的數據。安全

2. 精讀

大數據行業發展趨勢

2018 年中國大數據產業規模預計 329 億元人民幣，同比增加 39.4%。能夠看到增加速度逐年增長，預計在 2020 年數據市場規模可達 586 億元人民幣。微信

筆者查了一下，2018 年全國網上零售額爲 90065 億元，比數據市場規模多了一個數量級，因此我國的數據產業其實還在萌芽期，可能還須要 5 到 10 年才能徹底成熟，這也意味着目前數據市場是一片藍海，從後面的數據和國內數據應用使用狀況也能夠看出來。網絡

另外，各企業在大數據領域的投入資金與部門組織都同比 2017 年有所增長，其中接近四成的受訪企業已經在應用大數據，較 2016 年提高了 4.5%，暫不考慮大數據的企業從 2016 年 7.8% 降低到 6.8%。工具

從微觀角度觀察社會也能發現這樣的趨勢，近些年研究大數據的公司明顯增多，許多公司都逐漸設立了「數據分析」崗位和部門，可視化大屏在 toB 與 toG 領域都愈來愈獲得重視。性能

企業數據應用狀況

數據應用分爲數據採集、數據治理、數據處理、數據分析這四大階段，其中數據採集是獲取數據的最重要方式，而數據治理是將分散在各類不一樣形態數據庫的文件用統一方式管理起來，好比造成數據聯邦，這是數據使用前最重要的一步治理。數據處理就是將數據按照業務需求進行計算，而不一樣量級的數據計算方式會不一樣，特別是大數據場景要分爲離線計算與實時計算，只有極爲重要、實時性要求強的指標才進行實時計算，如今正處於離線與實時計算混合的混合計算轉型期。數據分析通常經過 BI 平臺完成，也是分析數據最重要的一步，BI 也經歷了漫長的版本迭代，第一階段是數據報表階段，第二階段是具有分析能力與數據挖掘能力的分析階段，第三階段是機器自動識別用戶意圖的智能化分析階段。

從智慧之光的調查結果來看，只有 22.47% 的企業實用了 BI 系統，而使用 BI 系統的企業中，超過七成認爲 BI 項目能較好的知足如今的需求。說明將來還會有更多企業使用 BI，BI 的市場還有 4 倍的增加空間。

在數據應用成熟度方面，僅有 3.5% 的企業處於數據盈利階段，也就是大部分企業對數據的治理還在投入階段，但無需質疑，持續對數據進行投入必定能獲得回報，但短時間來看會拖累財務報表。

再看目前企業的數據價值需求，看看業務方對 BI 工具的指望有哪些。

指望從高到低分別是：

(72.8%) 整合多系統數據，打通數據壁壘
(69.1%) 提升報表數據效率，更快更準更省事
(53.7%) 輔助管理預測，提升決策成功率
(51.4%) 提升生產效率，下降人力成本
(50.0%) 數據結合管理，優化管理方式
(47.8%) 業務監管分析，促進業務增至

這個排列順序基本上也是 BI 平臺迭代的順序。

BI 剛起步時都要先作數據整合，對於大部分公司，數據孤島的狀況仍是很廣泛的，甚至有大量數據分散在各自工做人員電腦的 Excel 文件中，已存在的各業務平臺見數據沒法打通也很廣泛，若是不能將多套系統間數據打通，你就沒有對數據的掌控力。像阿里雲的 Dataphin 就能夠幫助企業創建數倉，創建一套數據資產管理體系，其中第一步就是幫助你打通數據壁壘。

解決取數問題後，就能夠建設 BI 平臺了，BI 平臺初期基本以構建報表爲主，而構建報表的方式根據發展階段也各有不一樣，下面是智慧之光中一張很經典的 BI 發展階段：

在 IT-徹底主導型階段，主要任務就是製做報表，而業務人員能配置的部分只有 BI 模版的 5%，剩餘 95% 都須要 IT 人員參與開發，不只浪費人力資源，並且對業務線的時間成本也很高。

IT-強主導型階段，BI 平臺具備必定的配置能力，業務有 20% 的自主配置權，而 IT 仍需完成 80% 的工做。

在業務強主導型階段，BI 層 80% 的工做均可以由業務方完成，IT 人員只參與 20%，這 20% 可能包括複雜場景的定製，好比電子表格或者複雜的分析功能。這個階段真正實現了更快更準更省事。

業務徹底主導型階段，基本上 BI 層不須要 IT 人員參與，業務同窗能夠徹底主導對 BI 平臺的拓展，或者 BI 平臺已經能知足業務線幾乎全部的訴求，同時業務還能參與數據模型的控制，讓業務能力下沉到數據層。到這個階段的企業已經很是少了，也許只有少數互聯網巨頭能夠達到這個階段。

智能自助型，這個階段不須要 IT 人員參與，業務僅需參與 1%，緣由是 99% 的需求都有人工智能自動分析出來，也就是將業務數據拿到後，計算機已經知道該怎麼看這份數據了。智能自主型在國內還處於概念階段，在國外 BI 工具好比 PowerBI 與 Tableau 已經在這個領域深耕多年了，然而門檻比較高，目前效果應該還不太理想，由於這個階段一旦成熟，國內的 BI 企業將面臨巨大沖擊，之因此國內處於業務強主導階段的 BI 平臺依然存在，除了數據安全的理由以外，只能認爲國外智能自助型 BI 平臺依然「不夠智能」。

經過上面的分析能夠總結出，BI 平臺不只業務發展階段迥異，對技術人才的要求在不一樣階段也不同，技術層面須要以後端 -> 前端 -> ETL -> AI 人才的遞進態勢演變，對技術人員來講，如何在 BI 技術演變的過程當中不斷自我學習，知足下個階段的技術要求，是很是嚴峻的挑戰。

另外一個值得關注的是企業數據來源，根據 2016 與 2017 年的對比，來自企業內部的數據正在逐漸增多，從外部購買的數據從 16.7% 下降到 15.1%，而從政府免費開放的數據比例從 13.5% 提高到了 14.6%。這表示企業正在逐漸擺脫對外部購買數據的依賴，轉而產生更多本身業務的數據，而政府也在逐漸增強開放數據建設，努力減小各企業間數據資源的壁壘。

企業數據使用方式

根據調查顯示：

（70.0%）使用傳統的 SQL + Excel 分析數據
（64.8%）使用業務系統自帶的報表或分析功能
（35.6%）使用 BI 工具
（10.8%）手工寫代碼

首先頻繁的手工寫代碼只有 10% 不到的比例，這是由於稍稍有點長遠打算的企業，都會打造一支技術團隊，而業務也會給技術團隊打造一些生產效能提高的工具，只有 10% 左右的企業沒法割捨短時間利益，致使全部數據分析需求都要手工寫代碼。

大部分企業依然採用 SQL + Excel 分析數據，這個結果在情理之中，由於 SQL + Excel 都是現成的工具，不須要研發成本，而 Excel 的強大分析能力也基本知足了業務需求。但這種模式沒法共享分析結果，存在數據安全隱患，且沒法進入分析與智能階段。

使用業務系統自帶的報表或分析功能也佔了 64.8% 的比例，筆者所瞭解到的中小型公司也的確屬於這個階段，公司內不一樣業務線都有本身的業務平臺，每一個業務平臺內都有或多或少的數據分析和報表能力，這對大部分企業來講夠用了，但對於要創建 數據中臺 的企業來講，分散在各業務系統的數據與報表能力，反而是一種阻礙。PS：阿里數據中臺已進入 2.0 階段，但對大部分企業來講，是不可能越過數據中臺 1.0，直接進入 2.0 的，就像不可能跳過 5G 作 6G 同樣。

只有 35.6% 的企業在使用 BI 工具，由於使用 BI 工具須要必定門檻，好比作數據治理等，固然也能夠直接訂購阿里雲的 Dataphin 快速接入 QuickBI。

在企業使用 BI 時，選型的考慮因素也頗有意思：

（69.1%）產品是否高效易用
（59.2%）產品是否穩定性高，性能好
（58.5%）產品是否擁有豐富強大的功能
（51.4%）產品是否具有大數據分析能力
（33.6%）採購成本
（31.2%）生態與學習資源
（24.4%）廠商自己的實力

能夠看到，BI 工具靠自身實力吃飯的，而不依賴公司光環，由於業務方對實用性要求更大。

69.1% 的企業看中是否高效易用，說明目前國內企業對 BI 培訓能力較弱，但願有高投入產出比，同時也說明了 BI 自身的特性，它是面向非技術人員的產品，若是易用性不強，只是功能強大是沒有用的。

59.2% 的企業看中穩定性和性能，這是由於對數據分析來講，看報表是高頻操做，業務方會使用 BI 查看 KPI 報表，發日報或月報，用戶是沒法忍受頻繁使用的產品穩定性出現問題的。

第三點就是功能是否強大，對一款面向用戶的工具來講，若是功能有欠缺，就意味着沒法知足業務需求。好比對摺線圖作歸一化，若是 BI 平臺的折線圖自身不支持這個功能，使用者也沒辦法立馬拉上一名前端同窗拓展出這個功能，由於 BI 平臺表面看上去易用，但底層設計複雜，一旦遇到功能不支持，除了等待更新外，沒有更好的辦法。

最後一個超過 50% 的用戶期待就是具有大數據分析能力，這是由於企業數據量級廣泛都很大，而 BI 平臺底層的多維建模通常採用 OLAP 查詢，遇到海量數據可能要等上幾十分鐘，須要 BI 平臺內置一些數據加速的功能。ROLAP 給予關係型數據庫，特色是兼容性強、靈活性強，但查詢速度慢，而 MOLAP 是實現將各維度數據計算好，查詢時直接映射到多爲數據庫訪問，性能好，可是對存儲空間的依賴極高，須要付出大量的金錢才能支撐這種模式的查詢。

下面是企業對 BI 功能要求：

能夠看到，對報表能力需求量最大，說明報表是 BI 工具基礎的要求，也說明我國對數據的使用方式還停留在最初級的階段。

另外一個就是移動 BI 需求，在移動端看報表，PC 端作報表已經很是廣泛了。

之因此數據填報排到了第三名，是由於不一樣公司並非全部數據都統一管理，BI 支持數據填報，就能夠將遺漏的數據錄入進去。

相信在將來，這個條形圖最長邊會逐漸移動到腰部。

最後是企業面臨的綜合挑戰：

（64.8%）數據的整合與治理
（58.1%）與管理層及業務部門的配合
（51.8%）數據人才的培養
（49.8%）數據分析工具的選擇
（42.4%）IT 部門自身的能力提高
（38.1%）衡量數據分析的價值產出
（27.6%）公司重視程度或預算投入
（14.1%）項目風險的控制

數據整合與治理是最大問題再次反映了我國數據可視化處於較爲初級階段，第二名的「與管理層及業務部門的配合」，也印證了這一點，如何將數據價值傳達給管理層，讓管理層承認前期投入在將來是能夠獲得回報的，是在企業裏作數據分析比較頭疼的問題，而其餘業務部門若是不予配合，不將數據交給數據中臺部門，又難以解決數據整合的問題，而這個每每又依賴管理層的決定，所以管理層與業務部門的配合問題是相輔相成的。

第三名是數據人才培養的問題，這個問題筆者認爲還好，前幾年流行大數據人才，近幾年流行 AI 人才，我國數據人才應該有很多的儲備。

後面幾項最重要的就是衡量數據分析的價值產出，任何作數據的部門，若是不能讓數據爲公司帶來價值，這件事件就沒有可持續性。筆者建議從數據整合後的管理提效，節省機器成本的角度計算出收益，從數據分析平臺爲其餘業務部門提供的決策依據，計算出爲業績提升做出的貢獻，再從對公司內部作報表、郵件的研發人力節省，管理層快速查看公司總體實時數據分析的角度計算出軟貢獻價值。