Mysql 流增量寫入 Hdfs（一） --從 mysql 到 kafka

一. 概述 在大數據的靜態數據處理中，目前廣泛採用的是用 Spark + Hdfs （Hive / Hbase） 的技術架構來對數據進行處理。mysql 但有時候有其餘的需求，須要從其餘不一樣數據源不間斷得采集數據，而後存儲到 Hdfs 中進行處理。而追加（append）這種操做在 Hdfs 裏面明顯是比較麻煩的一件事。所幸有了 Storm 這麼個流數據處理這樣的東西問世，能夠幫咱們解決這些問題。

>>阅读原文<<