雜記- 3W互聯網的圈子，大數據敏捷BI與微軟BI的前端痛點

開篇介紹

上週末參加了一次永洪科技在中關村 3W 咖啡舉行的一次線下沙龍活動 - 關於它們的產品大數據敏捷 BI 工具的介紹。由此活動，我想到了三個話題 - 3W 互聯網的圈子，永洪科技的大數據敏捷 BI 工具，微軟 BI 工具的路應該如何去走。

3W 互聯網的圈子

其實以前在中關村工做過很長的一段時間，天天吃飯的點基本上就包括中關村那一塊，平時天天都從那個基督教堂門前走過來走過去。可是感受在中關村那裏白混了一年，由於歷來沒有注意到那裏其實有一我的氣很旺的 IT 互聯網人的圈子 - 3W 咖啡屋。

不過話說回來，我也以爲本身不是一個互聯網圈子中的人，我只能算上一個時不時刷下微信圈關注下公衆號的互聯網的外圍 IT 男青年。互聯網，移動互聯，這些個名字聽上去對我來講過高大上了。雖然離我生活很近，可是花錢和我相比太遠了，滴滴打車，餓了麼，這哪個不是花錢咱們用？ 其實反過來想想，其實就是他們在花錢用咱們。每一筆交易就是從對方花錢開始，你被用了做爲結束，這個場景貌似在哪裏見過，好熟悉。

做爲互聯網外圍 IT 男青年，連北京地鐵漲個價都要發給微信吐個槽不一樣。互聯網人不缺錢，A 輪，B 輪，C 輪 燒錢，動輒千萬美金的，錢燒起來就不是錢，就是一堆數字了。有錢就是任性，有錢的感受，真好！

從咱們口袋拿了錢，還得感謝大家幫咱們開啓了一段新的旅程！

調侃結束，言歸正傳！由於此次參加永洪科技的線下活動的緣由，繞了好幾圈才找到了這個在遠處看上去絕不起眼的 3W 咖啡屋。

其實這個咖啡屋很是有特點，一樓是咖啡廳，書架，筆記本，再把 IT 行業的各類巨頭照一掛，瞬間以爲 IT 圈其實也能夠那麼有情調。說的俗一點，從內心的角度上理解就是一個平時背個電腦包坐個地鐵被吐槽的 IT 男：那個一看就是搞 IT 的，黑眼圈，白頭髮，鬍子拉碴背個電腦不像話。一樣的一副模樣進了圈內估計就多是另一個樣子：那個一看就是大牛，黑眼圈，白頭髮，鬍子拉碴背個電腦帥到渣。圈子不同，認知就不同，不少在圈外找不到的成就感，被認知感只有在圈內懂的人中找回，也只有圈內的人才能懂得這成就的不易與價值。

IT 人有 IT 人本身的情懷，IT 人也有 IT 人貌似呆純背後的眼光毒辣之處，由於目的就只有一個 - 想盡辦法用你！用完你你還得替他說好，接着介紹更多的人被用！ 3W 咖啡屋就是這麼一個互聯網人扎堆在一塊兒，互相學習，交流經驗，或者密謀着如何勾搭在一塊兒研究更好的用好你的這麼一個 IT 風情之地。

二樓是各類會議場所，聽說按會議場地的大小一下午的收費大概是上千塊錢不等。能夠用來開展各類不一樣的沙龍活動，線下會議等等。感受週末也人也是隨時破門而入，到各個不一樣的會場去找找本身感興趣的主題去聽，若是找不到就繼續回到一樓看看書，上上網，固然被催着點東西吃喝也是 3W 咖啡屋的一部份內容。

 

關於 3W 自己就是一個在互聯網中的被人稱做爲鹹魚翻身的屌絲變高富帥的勵志小青年，關於對它的成長，發展模式能夠自行搜索瞭解，這裏從網上摘一部分看看：

" 3W咖啡子公司拉勾網8月20日宣佈獲啓明創投領投、貝塔斯曼亞洲投資基金跟投的2500萬美圓B輪投資，資金已所有到帳。今年4月1日，拉勾網宣佈獲貝塔斯曼投資資金投資的500萬美金A輪投資。即使今年下半年資本很熱，只要是稍微靠譜的項目都能得到大額的投資，但拉勾網此輪融資的完成，估值已達到1.5億美圓。當年瀕臨倒閉的3W咖啡和創始人團隊憑此完全鹹魚翻身。」

" 3W有100多個股東，(i黑馬注：3W咖啡館被譽爲具備中國特點的衆籌創業模式案例之一)，剛開始都想得很好，可讓你們都來這談事。但你們第一次來是湊熱鬧，第二次來圖新鮮……但最終生意都歸生意。"

" 咱們原來有誤區，認爲互聯網的人很高大上，好像咱們掌握了一種更先進的生產力，你以爲你很容易自上而下，就像什麼《三體》裏的降維攻擊同樣，我多牛X，傳統咖啡店多苦，我作一個咖啡店還不小case?你真去作的時候，發現每一個生意有每一個生意的門道。"

其實，互聯網就在身邊，誰，又能沒有一點本身的互聯網夢想？

永洪科技的大數據敏捷 BI 工具

做爲一個普通的微軟 BI 開發，除了平時須要關注微軟 BI 工具和解決方案以外，時不時還須要瞭解一下不一樣的 BI 工具。在各類不一樣的大數據時代，移動互聯網時代，被弄得不收藏點大數據，移動互聯，老羅情懷等各類小抄就顯得出門在外與人忽悠就容易老氣，落後，不專業同樣。

 

但畢竟要洗去鉛華迴歸本質，真正關注點手頭上應該關注的東西纔是王道。

 

在此以前，對永洪科技實際上不太瞭解，有印象的仍是去年 2013年的時候由天善智能團隊在 YY 上組織了一次關於永洪科技大數據技術的講座。因爲我自己不是作大數據的，因此裏面不少的專業的知識聽不太懂，好比永洪大數據框架設計，大數據的實現原理等等這些對我來講頗有難度。

很幸運的是此次碰到了永洪科技的 CEO 何春濤先生，以及永洪科技的產品經理，市場經理等團隊。

關於此次永洪大數據敏捷 BI 工具的介紹，我想在這裏大概的還原一下我所理解的這個大數據 BI 解決方案。用他們產品經理舉得一個例子我以爲很適合做爲永洪科技大數據敏捷 BI 的開場白： 90天細節數據約50億條數據導入到 Yonghong DM，直接定製 Dashboard 分析。

 

如下是我邊看他們的產品演示邊整理的小筆記：

1. 傳統數據分析作法 - 建模，彙總數據，業務查看分析結果。數據相對靜態，維度和度量公式須要預先設定好。
2. 存在的問題就是分析需求變動，業務人員不能直接調整報表，週期長，響應速度比較久。
3. 敏捷 BI：針對海量數據的計算能力不足，經過建模提早彙總，計算。
4. 敏捷商業智能能夠實現輕量建模：N個視圖，快速發佈。而傳統的 BI 都是重量建模：統一視圖，每次修改會引發比較大的結構變化，維護成本很高。
5. 海量數據的分析成本- 只需傳統大數據，BI 的 1/4 的成本，幾天到幾周，只需原 1/4 的上線週期。
6. 基於細節數據的輕量建模，用新技術實現高性能的計算，點擊計算讓用戶爲所欲爲。
7. 有數據呈現，也有數據交互，線下挖掘，TB-PB 級的數據秒級響應。
8. 非IT部分的同時直接在分析平臺上作出來，Self BI， 業務用戶有靈感就能夠去嘗試，去驗證。
9. 分析報告需求須要數據層的改動，須要IT部門去修改數據層和業務層。傳統BI 須要一個月兩個月去梳理模型，設計M額他 DWD DWA 作 ETL Cube，敏捷 BI 這些都不須要。
10. 無需事先建模，可在分析過程當中靈活調整分析維度和報表展示，能夠在一天只能作好，細節數據，輕量建模。

從個人角度出發，永洪的敏捷 BI 至少能夠幫助我解決這麼幾個問題：

TB-PB 級的數據秒級響應能力

數據量的問題，TB-PB 級的數據秒級響應能力因爲沒有實際的測試數據量，我不能肯定是否真的能夠作到，可是就示例當中的五千萬級測試數據，我以爲從現場表現來看仍是徹底能夠 Hold 住的。固然，具體後面如何去實現的細節，大數據的處理過程我仍是沒有過於去問。由於對咱們來講，更多的時候是圍繞着客戶來選擇適當的解決方案，如何實現不重要，但能不能實現很是重要。這個過程是在報表中不斷的點擊，鑽取與用戶的交互狀況下發生的，咱們就不說五千萬級的秒級響應，可能幾百萬級的秒級交互響應傳統的 BI 可能就很難作到。

WEB 平臺的數據交互

工具與平臺的問題，這仍是一個 WEB 界面的操做，線上製做線上發佈，這個絕對是一個很是大的優勢。

無固定的數據模型，任何字段即維度 Drag and Drop and Done

維度和事實自動劃分，任何字段能夠做爲維度搭配瀏覽數據。即看數據的角度不是相似於傳統 BI 須要建模，創建層次結構那樣，而是任意組合，無須預先設計。這一點對於 Business User 來講是最重要的，緣由就在於傳統的 BI 的流程當中若是須要在報表中改變維度一般均可能涉及到數據倉庫級別的維度的改動。可是在敏捷 BI 中，這點修改是很是容易實現的，對於一個無須太多 IT 經驗的用戶來講，他們本身就能夠解決這類問題。而且，全部的圖形控件瀏覽和切換數據查看的方式都是很是容易操做的，Drag and Drop and Done !

靈活的集成不一樣的數據源

基於已有的數據附加新的數據源的問題也解決的很好。一般碰到的狀況就是，咱們出的數據分析的報表，用戶拿到以後須要臨時經過一個 Excel 表的數據作一個篩選。這個 Excel 表的數據本來是在數據倉庫中不存在的，要是專門給這個 Excel 數據作一個 ETL 導入而後弄一張表，以爲總有一點那麼不太標準化，而且仍是屬於用一次可能下次就不用了的。遇到這種狀況，如何是好？ 在敏捷 BI 中這個問題能夠很好的解決，能夠在分析數據的過程當中直接附加一個新的數據源，作一些關聯就能夠集成進來了。不須要的時候，很容易的修改一下數據源關聯就能夠去掉。

 

這個工具可能也存在如下這些限制：

1. 我我的感受永洪的在沙龍中演示的這套敏捷 BI 產品，更多的是偏向於解決基於大數據分析的一款前端報表展示工具。數據量足夠大也能夠支持，大數據的支持力度是沒有問題的。前端展示，數據分析，各類圖表，秒級交互響應對於通常的數據分析人員，報表展示是足夠了的。因此這套產品的定位的關鍵字應該是：TB-PB 級大數據量，數據分析，報表工具。但對於數據挖掘的實現可能在這套工具中尚未看到，不知道在永洪的其它解決方案和工具中是否存在。
2. ETL 的支持力度可能還不夠強，或者說對於所分析的數據在數據的乾淨程度上是須要預先處理的，我以爲這也是大部分前端展示工具都存在的一個問題，或者說它們產品自己的定位就是面向大數據，面向前端展示的，因此這一點也其實很正常。

可變通的解決方案

那麼我我的以爲比較合理的一種解決方案仍是由  ETL （微軟 SSIS，Informatica，Kettle）等 ETL 工具完成了基本的數據清洗以後便可交由永洪敏捷 BI 來完成數據展示和分析的效果，不須要特別定製的數據倉庫模型，由於它是經過輕量級的視圖進行關聯在一塊兒的，而且自動劃分維度和事實。這樣對於用戶來講，有什麼樣的想法就直接可使用敏捷 BI 工具來驗證，不須要提交給 IT 部門，本身動手就能夠分析數據。

 

永洪科技的敏捷 BI 工具的同類型產品：QlikView, QlikSense, Tableau，不少特色都很是相似： 秒級交互，豐富的數據源支持，多圖樣，快速部署與快速實施週期。固然 QlikView 是由本身的一套完整的 ETL 實現的，不過須要寫不少的 Script 腳本且語法與咱們傳統 Script 有些不一樣，須要花費必定的精力來學習。前端時間正好幫助 QlikView 開發的同事寫了一個 C# 程序嵌入 QlikView 解決了它自身的的一個 Encoding 的 Bug 問題，領略了一下 QlikView 獨特的語法魅力，很是有意思。

 

對於永洪敏捷 BI 的這套工具的理解可能也存在片面之處，煩請專業人員指出。

心痛的微軟 BI 前端

愈來愈多的數據分析前端工具在最近幾年不斷推出，不管是國外的 QlikView, QlikSense, Tableau，仍是國內的永洪科技，Smartbi 等等，說明都很看重基於大數據量的數據分析與展示這一塊的市場。而且在不一樣的版本的迅速迭代上逐步的完善了已有功能，並推出新的功能，新的系列。就如同 QlikTech 在 2014年8月先後推出的 QlikSense 同樣，產品的更迭，定位變化的很是快。反觀微軟 BI 在前端展示上的表如今最近不少年在市場上幾乎沒有太大的進展，通常人以爲這個不該該，可是事實上就是如此。

(2014年 BI 市場 Leaders，微軟總體其實表現很是不錯，Tableau 和 Qlik 都是前端報表數據分析工具)

 

首先微軟BI 是一套完整的企業級 BI 應用框架，不只具有 ETL 的實現（SSIS - SQL Server Integration Services），也基本分析服務，多維數據分析的實現（SSAS - SQL Server Analysis Service），也具有前端報表展示（SSRS - SQL Server Reporting Service）。除此以外，還有基於 Office Excel 的 PowerPivot Drag and Drop 自助分析產品，在 Office 2013 系列中還有像 PowerView 這種在前端部分展示效果上能夠與 QlikView, QlikSense, Tableau 進行 PK 的工具。不所謂不強大，整個體系全面且互相銜接，兼容性，平臺性都很是的統一。一套產品便可完成一個完整的 BI 解決方案，應該來講這種表如今全部 BI 解決方案提供商中絕對是頂尖的。

可是爲何又感受到乏力呢？  ETL 這部分的實現是沒有任何問題的，能夠應用於絕大部分 BI 解決方案中，對於 SSAS 也能夠暫時不提，主要要說的是 SSRS Reporting 的表現。

做爲微軟 BI 解決方案三大模塊之一的（SSIS, SSRS, SSAS）的 SSRS 自 SQL Server 2005 版本開始，到 2008 版本能夠說是一個里程碑，在功能上有很大的改變和提高。可是從 SQL Server 2008 R2 開始到 2012， 到如今的 2014 能夠說基本上沒有任何變化。單一的控件，繁雜的配置屬性，讓默認的頁面看起來很是難看。這種報表開發不只僅要求對業務，數據的把握很所有，並且須要報表開發花大量的時間解決頁面佈局，屬性技巧，顏色搭配等效果，而不是專一於業務自己，數據自己。若是可以讓報表開發從報表設計中剝離出來，專一於提供更好的數據展示，數據質量，這將會極大的提高工做效率。

 

而且，特別是 SSRS 工做的方式，從數據源取數據，到建立臨時報表，到交付給 IIS 最後在瀏覽器中渲染並呈現。每一次點擊頁面有交互的效果就是這麼一個過程，除非利用緩存。也就是說每一次交互都須要重複的不斷的檢索數據，在大數據量的查詢前提下，很顯然很難知足這種靈活交互和快速響應的要求。

 

但並非微軟沒有作，微軟把這部分作在了 Office 中，就此出現了 PowerPivot 和基於 PowerPivot 的很強大的 PowerView。Self-BI 的概念就是微軟在這套產品中提出的一個亮點，但願藉助於 Office Excel Self-BI 的特色實現對企業用戶 BI 市場上的佔領。PowerPivot，PowerView 強大不強大，也很強大，的確能夠實現 Self-BI 的效果。可是有一點，若是須要將這些內容部署並經過 WEB 方式共享和訪問的時候就須要搭配 SharePoint  產品的。固然這中作法沒有錯，QlikView, QlikSense, Tableau 也是這麼幹的，它們也有本身的 Server 和 Publisher，可是對比起來它們的 Self-BI 不管是從客戶端仍是到服務器端整個搭配起來的功能和效果無疑要遠遠強於 SharePoint + Office Excel，既然這樣有爲何要選擇 SharePoint + Office Excel 模式呢？ 既然能脫離這種捆綁銷售，那麼天然就會有更多的選擇。

 

因此從 2008年到如今的 2014年，微軟 BI 在前端工具的發展很明顯的是偏向了 SharePoint + Office Excel 模式，而在 SSRS 部分沒有絲毫的提高，如同雞肋通常。可是至少從我如今的圈子裏的朋友中，只有少數的選擇 Office Excel + SharePoint 模式，更多的選擇愈來愈變得拋棄 Office Excel 而選擇了其它的第三方報表工具，好比 Cognos，QlikView，QlikSense 等等。

 

固然並不會出現這種 Self-BI 會徹底代替 SSRS 的狀況，SSRS 適用於面向主題的靜態的數據呈現，好比這種企業級的定製化的報表。像 Office Excel ,QlikView, Tableau, 永洪科技的敏捷 BI 它們更多的用語業務人員自身的數據分析，部門級的我的級的數據分析與呈現，且主題和內容不固定。

 

做爲一個微軟 BI 開發，固然仍是但願微軟 BI 可以發展的更好，微軟也是時候看看身邊的這些大數據，數據分析，報表呈現的各類產品了。若是失掉前端產品的市場份額，一旦 ETL 部分被其它更輕量更靈活的 ETL 工具所代替，那麼微軟 BI 的整個解決方案和框架將會被其它解決方案所代替。

 

就如同如今的數據分析工具，是徹底能夠不依賴於數據倉庫，不須要 CUBE 只須要一個大平面表就能夠完成數據分析和展示，交互的過程的。數據倉庫解決的是什麼問題，面向過去的歷史增量數據的統一的收集，具體固定的分析事實的維度。如今不少工具徹底能夠解決增量加載的歷史數據問題，也不須要構建標準的維度就能夠完成數據分析的過程。CUBE 用來作什麼，大數據量的預先聚合計算問題，空間換時間。可是如今這種大數據量的聚合計算的效率在不少前端報表工具上已經獲得了很好的解決，大數據量併發訪問都也已經不是問題。若是這麼想下去，拿掉 SSAS, 拿掉 數據倉庫，拿掉 SSRS 微軟 BI 還剩下什麼可以在 BI 市場上與各豪強抗衡？  我相信這個問題不只僅是微軟遇到的問題，也多是其它不少 BI 解決方案提供商會遇到的問題。

 

我爲何要關注這個問題，關注微軟BI，由於目前我是吃這碗飯的。在不餓肚子還能養家餬口的前提下仍是能抗上幾年，相信微軟可以在將來的 BI 產品中完成升級，改造，多多尊重一下用戶體驗和開發體驗，多多吸取一些成功的產品的經驗。手機巨人 NOKIA 不也能轟然倒下嗎？ 微軟 BI 爲何就必定能保證不被戰勝？ 學習如逆水行舟，不進則退，產品不也是如此嗎？

 

若是哪一天微軟 BI 真的不爭氣被各豪強 PK 掉了，我只能說世道不易，出門在外要飯多帶幾個碗仍是好的 - 汪汪汪！

 

一年前正好寫了一篇文章，作了一個圖片，今天剛好又是聖誕節，正好能夠用上了！祝博客園的朋友們 - 你們聖誕節快樂，2015年新年快樂！