BI發展趨勢全景

做者介紹

經海路@薄荷點點

京東物流數據PM一枚。

專一「BI+」，帶你發現數據產品的更多可能性。

最近這段時間根據Gartner相關報告中涉及到了BI系統、數據分析的技術趨勢，進行了一些概括總結，對於某些趨勢點，特地去找了現存的BI產品，站在2021年的開端，讓咱們腳踏實地的腦洞一下吧！

1 分析時刻

分析時刻是Gartner定義的一種數據分析流程，經過對數據進行可視化、探索和應用算法，支持業務成果的交付，從而作出更好或更快的決策，實現業務流程的自動化。

隨着數據使用門檻逐步下降，自助式、平臺式BI成爲趨勢，數據分析的主動權會逐步轉移到業務人員手中，數據分析直接由遇到業務問題的業務人員發起，業務人員可使用數據分析工具/平臺完成數據分析內容。

舉例：

當一名業務人員想知道某個商品的線上銷售預測，或者爲何購物車中的商品沒有被某些客戶轉化爲購買，在過去，這名業務人員必須求助於IT部門的專業數據分析師（提取可能相關的數據，輸出特定分析報告）、數據科學家（創建預測模型），可是試想一下，若是BI系統中創建了經常使用的預測算法模型、歸因分析工具，能夠方便的鏈接數據集，業務人員自主快速完成分析內容，他經過自助分析很快就知道了這幾個數據結論或者問題緣由，從而作出業務上的反饋。

2 加強分析

加強分析主要是指以機器學習爲基礎的數據分析和BI功能，經過機器學習、人工智能等技術的應用將常見通用的數據分析的場景沉澱爲產品功能中，幫助普通用戶在沒有數據科學專家或 IT人員協助的狀況下完成數據分析。

加強分析的底層理念是「簡單易用」，可以支撐用戶在沒有專業知識背景下，完成數據的「收集-準備-整合和分析」全過程。

加強分析包含加強數據準備、加強機器學習、加強數據分析這些模塊。這裏主要講在數據分析中的應用趨勢。

（1）NLP與NLG的應用

使用天然語言分析（NLP），經過語言和可視化來分析數據

舉例：ThoughtSpot使用搜索和NLP做爲訪問數據的主要界面，用戶能夠經過打字或者語音提出問題。

對話式數據分析的數據機器人

天然語言轉化成 SQL，再將 SQL 結果集轉化成可視化的圖形，造成了"NL2SQL2Graph"的完整鏈路。

舉例：阿里小蜜（入口：淘寶）

使用天然語言生成（NLG），將機器分析出的觀點結論以語言形式展示給用戶

舉例：tableau的explain Data功能，會自動針對所選值提供由 AI 驅動的解釋。此功能會在後臺檢查數百個可能的解釋，並呈現可能性最大的那些解釋。

這個功能是如何實現的？在tableau的2020.2 new feature網絡研討會上對explain data性能加強的介紹下讓咱們能夠大概知道運行原理：

當你點擊某個數據值進行explain data時，系統會自動對數據集的每個維度、每個度量都進行交叉計算，判斷須要解釋的數據值是高於仍是低於預期（均值）。

以高於預期爲例，explain data會嘗試作如下幾類解釋：

先去掃描全部的維度信息，看是否有顯著的維度（這個維度的值廣泛偏高）；

而後去考察記錄數（數據條數），是不是因爲數據記錄數較高致使；

再次，考慮極端值的狀況，是不是由於某個極端值形成了偏高。

在新版的explain data中，對計算的維度範圍進行了限制(再也不對全部維度進行解析，有一些明顯值過多的維度、包含了平均值的維度都會默認被忽略)，這能解決之前數據集較大或者維度偏多explain data會比較慢的問題。

（2）自動洞察和自動可視化

自動洞察( automated insights )

自動洞察是指機器自動地從數據中發現潛在信息和價值：發現數據之間的關聯、發現數據異常、自動進行聚類。

如今大部分的主流 BI 平臺都有自動洞察的相關功能推出。舉例：

微軟的 PowerBI 的Quick Insights 功能可以自動對於源數據作出各類交叉的一階或者多階計算 ( 百分比，排序，同環比 )，從而挖掘數據內部各類趨勢。

自動可視化 ( automated visualization )

根據數據結果自動的選擇可視化的方式進行展現，以清晰的展示數據分析結果。

有2個方向：

自動選擇圖表：當查詢出數據集後，機器會根據數據特色，自動生成合適的圖表。圖表自動化如今主流的BI工具都已經支持了，好比tableau，選擇好數據集後第一眼看到的不是數據，而是自動的可視化圖表，而當維度變多後，會自動將現有圖表拆分紅多個。

自動生成報告：比自動選擇圖表更高一層，自動生成報表佈局、配置控件、圖表聯動等。

技術上有2種實現思路：

基於規則：預先設置好規則庫，根據規則生成圖表，規則庫的質量是關鍵。

基於模型：將問題轉化爲分類或者排序問題，數據自己的特徵與可視化圖表的特徵是關鍵。

3 嵌入式分析

將特定的數據分析方法集成到業務系統中。

好比，BI系統的頁面能夠用於嵌入到其餘系統中，這樣對產品將來發展頗有好處：

可以擴大BI的適用範圍，也便於將來產品規劃的升級

業務人員在產生數據的系統內就能看到數據的分析結果，增長了體驗，而且使用起來流程、體驗都很順

預測和決策建議

經過大量人工業務分析總結出的業務經驗、再加上AI和機器學習技術的加持，讓機器一次性完成業務分析和行動建議。

好比：taobao的生意參謀，數據現象後面緊跟着操做建議、業務技巧。

這種功能如何實現呢？看起來很高大上，其實提及來也有簡單的方法：

首先提煉出數據表現背後表明的業務場景，根據數據表現判斷屬於哪種業務場景，再推送出對應的解釋和建議，這種實現方式的特色是，業務已經比較成熟，可以很好的抽象出業務上數據和策略的關係。實現上使用規則就能夠很好的知足初期的需求，是的，重點是梳理好對應的規則庫。

我我的比較推薦這種成本低的決策建議，在項目初始的短時間內就可以達到比較好的效果，給將來迭代升級提供很好的ROI支持。

參考資料：

《Quick Insights With Power BI》（Madan Bhintade,C#Corner）

《加強分析技術原理與實踐》（馬玥、丁建棟 阿里巴巴，DataFunTalk）

《Gartner對於建設數據中臺的建議》

Tableau中國官網

ThoughtSpot官網

一個數據人的自留地是一個助力數據人成長的你們庭，幫助對數據感興趣的夥伴們明確學習方向、精準提高技能。關注我，帶你探索數據的神奇奧祕

一、回「數據產品」，獲取<大廠數據產品面試題>

二、回「數據中臺」，獲取<大廠數據中臺資料>

三、回「商業分析」，獲取<大廠商業分析面試題>；

四、回「交個朋友」，進交流羣，認識更多的數據小夥伴。