關於數據中臺，這家外企的觀點偏偏值得深思

數據中臺並不是舶來品，而是中國互聯網巨頭製造出來的概念。

事實上，在國內各行各業掀起一股所謂的數據中臺熱之際，國外用戶卻對之鮮有說起。可是，這並不表明國外市場對於數據價值不重視。偏偏相反，在歐美等數字化程度很高的市場裏，DataOps理念已經深刻人心。所謂DataOps並不只僅是某種產品、服務或者解決方案，而是AI時代全新的企業數據管理模式，目的是快速發現和使用整個用戶架構中所有數據所蘊含的價值。

所以，不管是數據中臺仍是DataOps，很有「殊途同歸之妙」，只是稱呼不一樣而已。對於傳統行業用戶而言，一味將本身的發展放入到互聯網公司的環境之中有失偏頗，反而一些在傳統行業數據價值實踐有着豐富經驗的廠商的觀點值得學習與借鑑。

近日，在DataOps領域有着深厚積累、豐富實踐經驗、完善產品與解決方案的Hitachi Vantara公司就目前國內數據中臺熱潮、數據分析等熱門話題進行了一番分析。正所謂兼聽則明，Hitachi Vantara關於數據中臺的觀點，值得國內用戶進一步思考。

數據分析的三大典型挑戰

與天生就是數字原生的互聯網公司相比，傳統行業大部分企業，其數字化的進程是從無到有、穩步進化的過程。這就決定了傳統企業數據價值之路不可能一蹴而就。事實也的確如此，從過去的數據倉庫、數據管理，到如今的大數據平臺、數據中臺，傳統企業的數據分析與價值挖掘經歷好幾個階段。

用Hitachi Vantara中國區數據與分析業務總監於希國的觀點歸納爲：90年代的傳統BI/DW分析時代，這個階段主要以批處理、集中式的方式去解決結構化數據的處理需求；隨着移動互聯網、社交媒體在2005年以後的崛起，大量多源、異構的數據開始產生，從2010年進入到商務大數據的階段，傳統集中式的數據分析方式不能勝任，隨之而來的就是Hadoop這種分佈式處理的出現，而且有多個數據分析應用開始出如今互聯網、金融等行業之中；從2016年開始，數據分析真正進入到ML/AI大數據分析階段，傳感、實時、專業、閉環是其顯著特色，而且開始影響社會的方方面面。

Hitachi Vantara中國區數據與分析業務總監於希國

正由於如此，傳統行業在數據分析與價值挖掘之路上可能會面臨着更加複雜的局面。傳統企業可能會面臨着比互聯網公司更加複雜與多樣的數據環境、技術環境和需求特色。於希國介紹，當前不少企業在數據分析上面臨着三個很是明顯的挑戰：

首先是不少用戶的環境存在着傳統數倉產品、開源產品並存的局面，尤爲是開源的流行，大量開源產品融入到用戶環境之中，可是這些不一樣的軟件產品之間很難一塊兒工做，很容易又造成一個個孤島，爲後續的數據分析帶來巨大的隱患。

其次，對於傳統行業用戶而言，在多源、異構、海量數據的注入下，不一樣軟件之間彼此難以溝通，業務調用、性能提高都是很是典型的挑戰。

第三，對於不少用戶存在的傳統數倉產品，大部分都是封閉系統，很難將新的技術、產品嵌入到應用之中，好比像機器學習這些熱門技術與應用等。

正由於如此，數據中臺的價值才得以彰顯。於希國表示，對於數據中臺，Hitachi Vantara稱之爲DataOps，即在數據的消費者和數據的管理者之間創建一個很好的鏈接，使前臺應用服務與後臺數據之間起到很好的銜接與支撐做用，讓數據分析更加自動化、平民化和業務化。

數據中臺須要紐帶

事實上，數據中臺所扮演的角色就是集合數據採集、融合、治理、組織管理、智能分析爲一體，以高效的方式將數據以服務方式提供給業務前臺使用，以提高業務運行效率、持續促進業務創新。可是數據中臺的建設每每又具備複雜性，須要根據行業用戶自身的行業屬性、業務實際狀況來綜合考慮。所以，數據中臺產品與解決方案不只須要可以應對足夠的複雜性，還必須足夠健壯，能夠實現好的擴展性和靈活性，以支撐將來業務各類可能的彈性變化。

在於希國看來，數據中臺的建設須要一個紐帶，能夠將傳統企業以往各類不一樣的軟件、解決方案集成起來，就像一個「數據管道」同樣，可以讓數據實現真正的高效流動與智能化分析。而Hitachi Vantara Pentaho就扮演着這個多功能、智能化、高效易用的「數據管道」角色，對大幅提高數據分析效率、挖掘數據價值起到關鍵做用。

事實上，Pentaho做爲一個平臺，涵蓋了從數據接入、集成、交換，到可視化開發、優化，再到數據集市、嵌入式分析，以及機器學習等方面的全數據業務流程。「它讓數據分析真正成爲一個閉環。」於希國表示。Pentaho能夠實現多種數據源快速導入數據湖，還具備數據集成、數據交換、數據遷移平臺，同時與全程可視化的開發和大數據計算能力相結合，還能夠經過自助式數據集市爲數據科學家提供各類數據分析平臺，而對於機器學習等人工智能方面的支撐也十分全面。「Pentaho不只支持機器學習、深度學習，還支持強化學習。」

Pentaho做爲一款開源軟件產品，自從被Hitachi Vantara收購以後，其在功能層面就在不斷增強與升級。以目前市面上最新的Pentaho 8.3版本爲例，該版本新增了多項功能。好比，升級的數據管道拖拽功能和數據可視化能力使數據的訪問、融合和治理更加方便快捷；又好比，在多雲成爲大趨勢下，該版本針對多雲服務進行了優化與提高：用戶經過Pentaho 8.3能夠訪問多個雲平臺中的數據，包括AWS、Google Cloud、Microsoft Azure等。「Pentaho擁有很好的嵌入式能力，若是缺一個驅動（Driver），只須要把驅動作成包進來就能夠支撐雲的操做。」於希國透露道。

計劃於明年2月上市的Pentaho 9.0版本將幫助用戶進一步提高數據集成與分析的效率，它將爲數據管道的共享、管理和監視活動提供新的數據流服務，能夠減小數據管道的擁堵，從邊緣到雲端，提供先進的數據發現、訪問和整合功能。

目前，Pentaho在通過豐富的實踐以後，已經沉澱出十大典型應用場景：統一數據交換平臺、主機下移與數倉遷移、數據清洗轉換性能提高、互聯網爬蟲與機器學習、數據中心智能運維與監控、IoT工業數據採集與分析、數據可視化和自助分析與報表、非結構化數據轉換與分析、數據脫敏與測試開發環境構建、數據多維模型構建與分析。

數據分析平臺須要開放與生態

「最近咱們有個客戶在測試ETL數據抽取工具，他已經買入了十多個ETL工具，客戶總結出來的24個場景中，這十餘款工具沒有一款能夠所有知足。直到Pentaho的進入，才所有知足24個場景的應用需求。」這個例子當然體現出Pentaho產品的強大，可是也從側面反映出用戶需求的多樣化、複雜性和快速變化。

所以，Hitachi Vantara全球副總裁兼中國區總經理戴建平認爲數據分析平臺每每須要更加開放，「封閉平臺侷限性太明顯了。不少技術出現的很是快，數據分析平臺須要更加開放，有能力將這些技術集成起來。Pentaho的優點在於，第一，開源以及良好的兼容性和開放性，能夠跟業界各家廠家，包括本土廠家進行互相的遷移。其次，Pentaho是多種數據源類型高效緊密整合的無縫端到端的開放工具平臺，既能夠把不一樣的孤島、不一樣的數據鏈路打通成爲一個總體，也能夠集成到客戶的複雜、多樣的IT環境之中。」

Hitachi Vantara全球副總裁兼中國區總經理戴建平

「咱們看到過有那種客戶，最初基於Pentaho早期版原本實施，封閉以後不開源，只靠本身打補丁，逐漸與時代脫節，後面就跟不上發展趨勢了。這家客戶的版本跟如今Pentaho的版本性能相差十倍之多。」於希國透露道。

事實上，Pentaho做爲全球最流行的開源商業智能軟件，其開放性、開源性是自身最大的優點。在被Hitachi Vantara收購以後，Pentaho依然保持着其開放和開源的優點。當前，Pentaho社區版全球下載量已經超過了750萬，中國地區下載量位列全球第一。Pentaho在全球擁有大量的企業級客戶，已經有超過2500個商業版用戶，和超過20000個產品部署。

不只如此，Hitachi Vantara在中國市場還強調了生態Co-Creation共創的理念，在金融、教育、醫療、製造等行業均設立了專門的團隊，與合做夥伴、客戶共同進行創新。「每個行業都存在精準要求和前瞻性的需求，這每每不是一家公司可以作到的。Hitachi Vantara但願攜手合做夥伴、客戶共同合做，知足客戶的切實需求。」戴建平補充道。

將來，Hitachi Vantara將致力於從兩個方面拓展Pentaho的市場與生態。首先是對於Pentaho Kettle開源版本的用戶，繼續深挖深層次的合做需求；其次，增強合做夥伴的聯繫，包括ISV等合做夥伴，共同探索Pentaho在行業中如何提供更好的平臺工具和推廣方式，以產品集成的方式爲客戶提供更加豐富的選擇。

「常常提數據中臺的國內最大的電商平臺之一就是Pentaho在全球最大的下載客戶。」Hitachi Vantara全球副總裁兼中國區總經理戴建平對Pentaho的將來充滿自信。