數棧產品分享：簡析數據中臺如何經過DataAPI實現數據共享

數棧是雲原生—站式數據中臺PaaS，咱們在github和gitee上有一個有趣的開源項目：FlinkX，FlinkX是一個基於Flink的批流統一的數據同步工具，既能夠採集靜態的數據，也能夠採集實時變化的數據，是全域、異構、批流一體的數據同步引擎。你們喜歡的話請給咱們點個star！star！star！

github開源項目：https://github.com/DTStack/flinkx

gitee開源項目：https://gitee.com/dtstack_dev_0/flinkx

若是把企業數字化轉型比做一輛自行車，那麼技術與數據即是這輛車的兩個輪子，騎在車上的則是企業戰略、文化以及各類資源，它們決定了轉型將走向哪一個方向。無論數字化轉型之路多麼正確、戰術如何高明，其最終結果仍是要經過這兩個輪子落地。

DT時代，「大數據」不是強調量大，是指數據來源多、維度多。如今不少系統的數據無法給第三方用，只有打破這種壁壘，纔會產生新的價值。在數智化轉型過程當中，實現數據開放共享，是企業在DT時代實現彎道超車的前提。

1、什麼是數據共享服務

數據共享服務可簡單歸納爲將數據中臺的數據共享給其餘系統，或將某組織的數據共享給其餘組織，提供數據的方式也十分多樣，如數據庫讀取、文件傳輸、API接口服務等。

如何經過數據API，對外提供數據服務，進行數據共享呢？

數據API，經過RestfulAPI的形式對外提供數據服務，適用於數據庫不直接對外開放，經過接口提供高併發快返回的數據服務場景，如企業內部將數據中臺加工的結果數據，經過數據API的方式，提供給上層數據應用、數據門戶，可視化大屏等；證券公司將股票、債券等行情數據經過數據API的方式提供給外部客戶；新媒體企業將資訊經過API的方式提供給外部客戶等，主要解決數據對外快速共享的場景。

2、怎樣生成數據服務

按照傳統方式，生成API接口，每每須要後端開發人員經過Java或Python等語言進行編寫。從開始生成到對外發布，中間再作一些鑑權、限流等，整個流程較長，且一個接口開發完成後，須要測試人員再進行測試驗證，整個過程下來，投入成本較高。

如下是傳統方式生成數據API的流程：

近幾年，在數據中臺的浪潮中，大數據平臺產品供應也愈來愈俱全。國內部分優秀的大數據產品供應商，也有標準化的數據共享服務產品，其將數據服務能力進行封裝，大部分功能在平臺產品內部完成，面向用戶的功能只是鏈接數據源、編寫查詢邏輯，大幅度縮短API流程，並下降開發成本。

利用標準化產品，通常開發流程以下：

在API生成中，通過如下步驟：

• API生成：平臺會封裝API建立能力，用戶只需在WEB界面上選庫選表，設定請求參數、返回參數便可；對於複雜的API查詢邏輯，有的平臺也會提供自定義SQL寫查詢邏輯的模式，知足用戶不一樣場景。
• API發佈：平臺會集成API網關，無需用戶本身寫網關邏輯，API發佈後，會直接發佈在API網關上，造成API市場，對外提供數據服務。
• API申請：有須要的用戶可直接在API申請已發佈的API，管理員進行審批，審批經過後，申請者可拿到API的調用地址和請求示例。
• API受權：對API申請者的申請進行審批；
• API管理：對企業來說，一款標準化的產品提供了一個企業級數據服務統一管理平臺與企業級的API市場。

在API調用流程中，API網關能夠進行鑑權、限流、數據解密等工做。

（一）較於傳統化的生成方式，標準化產品能帶來什麼？

1. 開發效率的提高：將數據API開發流程縮短，一個API生成只需3分鐘

2. 人力成本的下降：傳統方式須要後端開發寫接口，如今只需更熟悉數據的開發，經過寫SQL，就可完成數據API的開發。

3. API接口服務更多的場景：除了用戶原有需求外，標準化的產品可帶來更多附加功能，如API、用戶限流，API調用監控等。

4. 企業級API市場：實現企業API統一管理，統一的API市場開放數據服務。

（二）數棧DTinsight 的DataAPI產品正是面向以上場景，提供數據API的共享服務。

DataAPI，經過雙模式可視化配置生成與註冊API，快速構建Oneservice數據服務，造成企業級的API市場和API服務管理平臺，提升數據開放與共享效率。

3、DataAPI能夠作什麼

DataAPI除以上介紹可解決的場景外，還在第三方數據服務、服務監控、數據服務安全深耕較多，提供給客戶一個優秀的數據服務產品。

• 雙模式生成API

經過嚮導模式、自定義SQL模式雙模式生成API服務，3分鐘可視化完成API建立。

• 第三方服務註冊

除在平臺上生成API服務，支持將原有的API服務註冊至DataAPI，進行統一管理、發佈至API市場，企業全部的API服務統一管理。

• API調用監控

平臺從API管理者、API申請者視角分別提供API調用次數、調用日誌、錯誤日誌的監控。

• API使用權限控制

可控制單個API的用戶使用權限，調用次數是多少，調用週期是多長。

4、數據服務安全

數據對外服務過程當中，數據安全是很是重要的一部分，DataAPI保障數據安全，主要有三方面：

• API調用

API調用中提供2種加密方式，可對用戶信息、API信息、數據信息進行加密，適用於不一樣安全級別的場景。

• API限流

針對API單秒調用次數、用戶對API的調用次數可進行限流，保障數據服務的安全穩定性。

• 黑白名單IP控制

經過設置黑白名單，從IP級別控制IP的訪問。