阿里雲產品之數據中臺架構

1. 場景描述

客戶打包買了不少阿里雲的產品，可是阿里雲不負責實施，基於阿里雲產品與客戶需求，擬採用的數據中臺架構，有相似需求的，能夠參考下，拿走不謝！

2. 解決方案

阿里產品大數據架構圖：

從下到上，簡要介紹下各個阿里產品做用及承擔的任務：

2.1 雲數據庫 RDS

阿里雲關係型數據庫RDS（Relational Database Service）是一種穩定可靠、可彈性伸縮的在線數據庫服務，提供容災、備份、恢復、遷移等方面的全套解決方案，完全解決數據庫運維的煩惱。官方文檔

2.2 數據傳輸DTS

數據傳輸服務(Data Transmission Service) DTS支持關係型數據庫、NoSQL、大數據(OLAP)等數據源間的數據傳輸。 它是一種集數據遷移、數據訂閱及數據實時同步於一體的數據傳輸服務。數據傳輸致力於在公共雲、混合雲場景下，解決遠距離、毫秒級異步數據傳輸難題。 它底層的數據流基礎設施爲阿里雙11異地多活基礎架構， 爲數千下游應用提供實時數據流，已在線上穩定運行6年之久。 您可使用數據傳輸輕鬆構建安全、可擴展、高可用的數據架構。官方文檔。

2.3 離線數據同步工具DataX

DataX 是阿里巴巴集團內被普遍使用的離線數據同步工具/平臺，實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各類異構數據源之間高效的數據同步功能。

開源地址：https://github.com/alibaba/DataX

2.4 DataHub

阿里雲流數據處理平臺DataHub是流式數據(Streaming Data)的處理平臺，提供對流式數據的發佈 (Publish)，訂閱 (Subscribe)和分發功能，讓您能夠輕鬆構建基於流式數據的分析和應用。DataHub服務能夠對各類移動設備，應用軟件，網站服務，傳感器等產生的大量流式數據進行持續不斷的採集，存儲和處理。用戶能夠編寫應用程序或者使用流計算引擎來處理寫入到DataHub的流式數據好比實時web訪問日誌、應用日誌、各類事件等，併產出各類實時的數據處理結果好比實時圖表、報警信息、實時統計等。

DataHub服務基於阿里雲自研的飛天平臺，具備高可用，低延遲，高可擴展，高吞吐的特色。

2.5 ADB或ADS

雲原生數據倉庫AnalyticDB MySQL版（簡稱ADB，原分析型數據庫MySQL版），是阿里巴巴自主研發的海量數據實時高併發在線分析雲計算服務，使得您能夠在毫秒級針對千億級數據進行即時的多維分析透視和業務探索。

2.6 什麼是MaxCompute

大數據計算服務（MaxCompute，原名ODPS）是一種快速、徹底託管的EB級數據倉庫解決方案。

隨着數據收集手段不斷豐富，行業數據大量積累，數據規模已增加到了傳統軟件行業沒法承載的海量數據（百TB、PB、EB）級別。MaxCompute致力於批量結構化數據的存儲和計算，提供海量數據倉庫的解決方案及分析建模服務。

2.7 智能數據構建與管理 Dataphin

面向各行各業大數據建設、管理及應用訴求，一站式提供從數據接入到數據消費全鏈路的智能數據構建與管理的大數據能力，包括產品、技術和方法論等，助力打造標準統1、融會貫通、資產化、服務化、閉環自優化的智能數據體系，以驅動創新。

域的服務器組成的分佈式網絡。將源站資源緩存到全國各地的邊緣服務器，供用戶就近獲取，下降源站壓力。

2.8 服務器ECS

雲服務器ECS（Elastic Compute Service）是一種簡單高效、處理能力可彈性伸縮的計算服務。幫助您構建更穩定、安全的應用，提高運維效率，下降IT成本，使您更專一於核心業務創新。

官方幫助文檔1 官方幫助文檔2

2.9 實時流處理Blink

​ 一套基於Apache Flink構建的一站式、高性能實時大數據處理平臺，普遍適用於流式數據處理、離線數據處理、DataLake計算等場景。

​ 阿里雲正式於2019年1月，宣佈將實時計算平臺Blink開源，Blink傳承自Flink開源框架，後者最先適用於小流量互聯網場景的數據處理。此前阿里對Flink進行改造，並推出內部版Blink，將計算延遲下降到毫秒級。

---

I’m 「軟件老王」，若是以爲還能夠的話，關注下唄，後續更新秒知！歡迎討論區、同名公衆號留言交流！