玩轉大數據系列之一：數據採集與同步

數據的採集和同步，是先將數據從設備、或者本地數據源採集、同步到阿里雲上，而後在阿里雲上對數據進行分析和處理，最終完成您的業務要求。本文向您介紹阿里雲各產品的數據採集和同步的操做實戰文章，您能夠根據您使用阿里雲產品，查看相應的文檔教程。

關於數據採集，DataWorks專門有一個模塊叫作數據集成，是阿里巴巴集團對外提供的穩定高效、彈性伸縮的數據同步平臺。致力於提供複雜網絡環境下、豐富的異構數據源之間數據高速穩定的數據移動及同步能力。詳細介紹請參見數據集成概述。

MaxCompute
Hadoop數據遷移MaxCompute
https://help.aliyun.com/docum...

JSON數據從OSS遷移到MaxCompute最佳實踐
https://help.aliyun.com/docum...

JSON數據從MongoDB遷移到MaxCompute最佳實踐
https://help.aliyun.com/docum...

DataWorks
新增日誌服務（Loghub）經過數據集成投遞數據
https://help.aliyun.com/docum...

新增ElasticSearch經過數據集成導入數據
https://help.aliyun.com/docum...

數據集成最佳實踐—OTSStream配置同步任務
https://help.aliyun.com/docum...

RDS遷移到Maxcompute實現動態分區最佳實踐
https://help.aliyun.com/docum...

Elasticsearch
使用DataWorks實現Hadoop與Elasticsearch數據同步
https://help.aliyun.com/docum...

使用DataWorks實現MaxCompute與Elasticsearch數據同步
https://help.aliyun.com/docum...

阿里雲上數據導入阿里雲ES（離線）
https://help.aliyun.com/docum...

同步 MySQL 數據庫到 Elasticsearch 中並進行搜索分析
https://help.aliyun.com/docum...

AnalyticDB
經過DTS實時同步RDS for MySQL數據到AnalyticDB
https://help.aliyun.com/docum...

使用數據集成遷移
https://help.aliyun.com/docum...

使用kettle將本地數據導入分析型數據庫
https://help.aliyun.com/docum...

DataHub
數據同步DTS將RDS數據實時傳輸至DataHub
https://help.aliyun.com/docum...

流數據同步DataConnector
https://help.aliyun.com/docum...

函數計算做爲DataHub後端服務
https://help.aliyun.com/docum...

擴容縮容Merge/Split
https://help.aliyun.com/docum...

Datahub具備服務彈性伸縮功能，用戶可根據實時的流量調整Shard數量，來應對突發性的流量增加或達到節約資源的目的。

更多大數據實戰文章
玩轉大數據系列之一：數據採集與同步

https://yq.aliyun.com/article...

玩轉大數據系列之二：數據分析與處理

https://yq.aliyun.com/article...

玩轉大數據系列之三：數據報表與展現

https://yq.aliyun.com/article...

玩轉大數據系列之四：搜索服務

https://yq.aliyun.com/article...