如何使用StreamSets從MySQL增量更新數據到Hive

如何使用StreamSets從MySQL增量更新數據到Hive

標籤（空格分隔）： 大數據平臺構建

---

一： 編寫目的
二： 平臺所用版本介紹
三： 配置步驟
四： 測試應用

---

一： 編寫目的

經過StreamSets實現數據採集，在實際生產中須要實時捕獲MySQL、Oracle等其餘數據源的變化數據（簡稱CDC）將變化數據實時的寫入大數據平臺的Hive、HDFS、HBase、Solr、Elasticserach等。該文將介紹使用StreamSets經過JDBC的方式實時抽取增量數據到Hive。

---

二： 平臺所使用版本

cdh 版本：
        CDH5.14.4 
StreamSets 版本：
        StreamSets 3.5.2

在 大數據平臺 CDH5.14.4 上面如何集成安裝不在介紹 參考flyfish的博客
<<在CDH5.14.4 中安裝StreamSets與案例運行>>

三：配置步驟

3.1 建立 Pipelines

在CDH的 主節點上面 建立 目錄
mkdir -p /tmp/mysql_to_hive

3.2 添加 jdbc 的查詢者

3.3 查看檢查

3.4 添加Hive Metadata

3.5 將Hive Metadata 輸出到 HiveMetastore

---

3.6 整個流程類預覽

四：測試應用