DataWorks（數據工場）

1、DataWorks（數據工場）

DataWorks系列視頻

https://help.aliyun.com/video_list/107549.html?spm=a2c4g.11174359.3.3.292e240fTm93TJ

 

1、Dataworksv2前世此生

1.1 開發易用、數據穩定性、數據安全、數據調度

1.2 數據全鏈路

1.3 數據安全

1.4 調度能力

1.5 dataworks 的開發規劃

1.6 dataservice studio

2、dataworkv2.0 版本概述與最佳實踐

2.1 開發理念的升級

2.2 新舊對比：開發體驗優化

2.3 數據掌控力

2.3.1 數據質量智能監控

2.3.2 數據保護傘

2.3.3數據服務

3、DataWorks V2.0數據集成簡介與最佳實踐

3.1數據集成簡介

3.2 操做流程

3.3 最佳實踐

4、DataWorks V2.0數據開發功能與用法解析

1、Dataworksv2前世此生

1.1 開發易用、數據穩定性、數據安全、數據調度

1.2 數據全鏈路

1.3 數據安全

1.4 調度能力

1.5 dataworks 的開發規劃

• 流批一體、交互式實時查詢、數據應用構建、解決生態賦能

1.6 dataservice studio

2、dataworkv2.0 版本概述與最佳實踐

2.1 開發理念的升級

• 標準項目模式，開發與生產兩套環境
• 按照業務流程進行劃分做業類型（數據集成、開發、資源、函數）
• 解決方案是有機整合全部的業務流程

2.2 新舊對比：開發體驗優化

• SQL編輯器優化（代碼高亮、補齊、格式化）
• 可視化：查看SQL結構
• 依賴屬性：依賴的粒度能夠節點了，每一個節點調度屬性不同
• 開發：自由的配置任務依賴
• SQL結果分析組件更強大，有excel的部分功能，顯示結果1萬條
• SQL組件，代碼重用，組件的開發模式引入
• 三天內SQL運行歷史
• 代碼全局搜索功能
• 回收站
• 表管理

2.3 數據掌控力

• 數據質量智能監控、數據保護傘、數據服務

2.3.1 數據質量智能監控

• 處理數據、管理數據、分享數據
• 智能監控：基線預警、事件報警、自定義報警
• 數據質量：

 

2.3.2 數據保護傘

 

 

• 敏感數據跟蹤審計功能
• 風險行爲的識別，配置規則識別風險行爲

2.3.3數據服務

• 將數據表生產API,如BI報表、數據可視化，
• 數據給本身用，數據共享給合做夥伴用、數據銷售變現

 

 

3、DataWorks V2.0數據集成簡介與最佳實踐

3.1數據集成簡介

 

3.2 操做流程

• 同步一個表/文件（一批表文件）
• 三種數據源的配置：實列配置（阿里雲自身的產品）、有公網Ip(jdbc)、私網ip
• 運行任務：週期運行、測試運行（只跑當前任務）、補數據運行（能夠跑當前任務及其下游、可選時間區間）

3.3 最佳實踐

（1）同步速度調優，分析同步任務--》任務切分（併發《=2dmu）---》

 

（2）自定義資源組

• 獨佔同步資源、

• 打通特殊網絡

4、DataWorks V2.0數據開發功能與用法解析