玩轉大數據系列之一：數據採集與同步

數據的採集和同步，是先將數據從設備、或者本地數據源採集、同步到阿里雲上，而後在阿里雲上對數據進行分析和處理，最終完成您的業務要求。本文向您介紹阿里雲各產品的數據採集和同步的操做實戰文章，您能夠根據您使用阿里雲產品，查看相應的文檔教程。

關於數據採集，DataWorks專門有一個模塊叫作數據集成，是阿里巴巴集團對外提供的穩定高效、彈性伸縮的數據同步平臺。致力於提供複雜網絡環境下、豐富的異構數據源之間數據高速穩定的數據移動及同步能力。詳細介紹請參見數據集成概述。

MaxCompute

• Hadoop數據遷移MaxCompute
• JSON數據從OSS遷移到MaxCompute最佳實踐
• JSON數據從MongoDB遷移到MaxCompute最佳實踐

DataWorks

• 新增日誌服務（Loghub）經過數據集成投遞數據
• 新增ElasticSearch經過數據集成導入數據
• 數據集成最佳實踐—OTSStream配置同步任務
• RDS遷移到Maxcompute實現動態分區最佳實踐

Elasticsearch

• 使用DataWorks實現Hadoop與Elasticsearch數據同步
• 使用DataWorks實現MaxCompute與Elasticsearch數據同步
• 阿里雲上數據導入阿里雲ES（離線）
• 同步 MySQL 數據庫到 Elasticsearch 中並進行搜索分析

AnalyticDB

• 經過DTS實時同步RDS for MySQL數據到AnalyticDB
• 使用數據集成遷移
• 使用kettle將本地數據導入分析型數據庫

DataHub

• 數據同步DTS將RDS數據實時傳輸至DataHub
• 流數據同步DataConnector
• 函數計算做爲DataHub後端服務
• 擴容縮容Merge/Split
  Datahub具備服務彈性伸縮功能，用戶可根據實時的流量調整Shard數量，來應對突發性的流量增加或達到節約資源的目的。

更多大數據實戰文章

玩轉大數據系列之一：數據採集與同步
玩轉大數據系列之二：數據分析與處理
玩轉大數據系列之三：數據報表與展現
玩轉大數據系列之四：搜索服務

做者： 汐林
原文連接
本文爲雲棲社區原創內容，未經容許不得轉載。