Flume基礎知識

概述 Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統。Flume基於流式架構，靈活簡單。 主要作用：實時讀取服務器本地磁盤數據，將數據寫入HDFS； 優點： 可以和任意存儲進程集成。 輸入的的數據速率大於寫入目的存儲的速率（讀寫速率不同步），flume會進行緩衝，減小hdfs的壓力。 flume中的事務基於channel，使用了兩個事務模型（sen

>>阅读原文<<