使用Flume將MySQL表數據實時抽取到hadoop

一、爲什麼要用到Flume          在以前搭建HAWQ數據倉庫實驗環境時，我使用Sqoop抽取從MySQL數據庫增量抽取數據到HDFS，然後用HAWQ的外部表進行訪問。這種方式只需要很少量的配置即可完成數據抽取任務，但缺點同樣明顯，那就是實時性。Sqoop使用MapReduce讀寫數據，而MapReduce是爲了批處理場景設計的，目標是大吞吐量，並不太關心低延時問題。就像實驗中所做的，每

>>阅读原文<<