利用Flume將MySQL表數據準實時抽取到HDFS

1、爲何要用到Flume        在之前搭建HAWQ數據倉庫實驗環境時，我使用Sqoop抽取從MySQL數據庫增量抽取數據到HDFS，而後用HAWQ的外部表進行訪問。這種方式只須要不多量的配置便可完成數據抽取任務，但缺點一樣明顯，那就是實時性。Sqoop使用MapReduce讀寫數據，而MapReduce是爲了批處理場景設計的，目標是大吞吐量，並不太關心低延時問題。就像實驗中所作的，天天定時

>>阅读原文<<