新一代大數據引擎操做系統：DataWorks V2.0重磅來襲

摘要： 衆所周知，MaxComput與Blink分別是阿里巴巴自主研發的離線計算、實時計算大數據計算引擎，不只擁有多項國家專利技術，並且多項關鍵指標已遠超業內開源引擎平均能力，名副其實地成爲了阿里巴巴大數據之路上的領航者。

認識DataWorks：新一代大數據引擎操做系統

衆所周知，MaxComput與Blink分別是阿里巴巴自主研發的離線計算、實時計算大數據計算引擎，不只擁有多項國家專利技術，並且多項關鍵指標已遠超業內開源引擎平均能力，名副其實地成爲了阿里巴巴大數據之路上的領航者。

若是把阿里巴巴大數據計算引擎比做一臺PC的CPU，GPU，SSD等硬件設備，那麼DataWork就是這臺大數據PC的Window操做系統。專業地講，DataWorks是一個提供了大數據OS能力、並以all in one box的方式提供專業高效、安全可靠的一站式大數據智能雲研發平臺。她不只能令用戶經過全可視化的方式調度MaxCompute和Blink開展研發工做，還對租戶，帳戶，計量，計費，調度，運維，監控，安全、質控、分享等功能做了封裝，讓用戶幾乎經過零研發成本便可完成全部大數據研發流程的閉環體驗。

DataWorks基於MaxCompute、Blink做爲核心計算存儲引擎，統一集成了任務調度、元數據管理、權限管理、智能運維於DataOS Kernel，不只爲用戶提供告終構化、半結構化、無結構化海量數據的集成傳輸、離線加工、數據挖掘、數據（安全）治理的能力，並且完美結合了阿里雲機器學習PAI平臺與雲市場，讓衆多智能數據應用得以普惠大衆企業。

DataWorks V2.0功能亮點

（1）更科學的研發理念
提供標準項目模式，也稱之爲「雙項目模式」，即：一個Dataworks項目對應兩個MaxCompute項目，其中一個MaxCompute項目做爲開發環境，另外一個MaxCompute做爲生產環境。
在標準模式下，代碼調試、任務配置等工做沒法在生產環境進行修改，僅能在開發環境調試完成後提交至生產環境調度運行，有效保證了生產環境代碼穩定性；同時標準模式可對錶權限進行嚴格管控，禁止隨意操做生產環境的表，保證生產表的數據安全，經過產品化的方式爲用戶落實安全生產方法論。

（2）更爽快的SQL代碼編輯器
DataWorks新一代智能SQL編輯器提供了十分爽朗的SQL體驗，用戶不只能在編寫代碼的過程當中體驗代碼格式化、代碼補齊、關鍵詞高亮、錯誤提示、表結構浮動顯示的開發體驗，並且能經過「結構」功能直觀查看並點擊定位SQL內部結構，提高研發人員分析SQL語句的效率。

（gif動圖：SQL格式化+補齊+高亮+錯誤提示+表結構浮動顯示）

（jpg：SQL內部結構展現）

（3）更人性化的開發體驗
數據研發模塊舊貌煥新顏，發佈諸多創新功能提高數據研發工做體驗。
◆業務流程：引入業務流程概念取代工做流概念，讓用戶從業務視角科學管理開發任務。

◆解決方案：有機組織同類型業務流程，賦予用戶從更高視角橫向管理開發任務的能力，全新定義開發流程。
◆依賴升級：實現獨立配置同一業務流程內依賴任務的獨立週期配置，解決更多複雜依賴場景。
◆SQL組件：提供自定義SQL代碼過程模板的功能，讓用戶無需進行重複開發便可高效複用類似SQL代碼，有效減小用戶重複研發成本。
◆回收站：提供刪除後還原功能爲用戶解決誤刪任務後沒法恢復的後顧之憂。
◆SQL電子表格：頁面執行SQL產出結果接入電子表格功能，方便用戶對數據結果進行篩選、排序等操做，並提供搜索和下載結果等功能。

◆運行歷史：保留近三天內頁面執行SQL結果，便於研發人員在無需重複執行代碼的狀況下，反覆對比SQL測試結果。
◆代碼全局搜索：實現了經過關鍵字形式對代碼進行全局搜索的功能，讓用戶快速定位到所需操做的節點任務。
◆表分層管理：用戶可對項目下全部表進行文件夾命名歸類，同時可經過圖形化界面進行表物理模型設計與結構設計，實現了更科學的表管理方式。
（4） 更智能的業務監控
經過人工定義某層曾節點的產出時間便可打通後端監控系統對上游全部節點任務的全鏈路智能監控，從而實現「是否報警」、「什麼時候報警」、「如何報警「以及「給誰報警」的功能，完全爲用戶下降監控配置成本並杜絕無效報警。
（5） 更完備的數據研發閉環體驗
◆數據質量（DQC）：支持MaxCompute數據表與DataHub實時數據流的質量校驗、通知、管理功能，實現當數據發生變化時對數據進行校驗， 並在知足質控規則條件時將報警推送給相關責任人，進而推進研發人員達成不斷改進數據質量的正向循環。

◆數據保護傘：提供數據資產識別、敏感數據發現、數據分級分類、脫敏、訪問監控、風險發現預警與審計能力，讓用戶無需顯著投入便可落實科學數據安全管理規範。

◆數據服務：經過Serverless助力用戶幾乎經過零成本便可快速將數據表構建爲數據API，並提供成熟的API鑑權、發佈、管理、生命週期管理功能，讓用戶不費吹灰之力便可快速將API集成至自有APP或發佈至雲市場進行數據能力售賣，搭建企業統一數據服務總線
（6） 完美結合人工智能
DataWorks完美集成了阿里雲機器學習（PAI）平臺，爲用戶提供數據處理、建模、離線預測、在線預測爲一體的機器學習處理能力。同時封裝了阿里巴巴集團內成熟的算法，向機器學習用戶提供了更簡易的操做體驗，真正作到讓人工智能觸手可及。

DataWorks獲獎經歷

2017年，DataWorks得到國際軟博會金獎；2018年，DataWorks + MaxCompute得到著名分析評測機構Forrester的Cloud Data Warehouse雲數據倉庫世界排名第二的成績，是惟一入選的中國產品。
DataWorks始終致力於Make Data Work，歡迎廣大開發者一塊兒在DataWorks V2.0上暢遊大數據的世界！

瞭解更多大數據家族產品詳情，歡迎點擊：
https://et.aliyun.com/bigdata...
點擊觀看大數據家族產品發佈會：
https://yq.aliyun.com/webinar...
【阿里雲新品發佈】開啓新一代數據智能開發之路：
https://yq.aliyun.com/roundta...

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。