Flume的多層代理和防止數據丟失

        當我們用Flume採集日誌時，由於數據源的多樣性，則往往需要配置多個Flume進行採集，如果只是使用單層Flume的話，那麼往往會產生很多個文件夾，單個文件夾也只是來自同一個節點的數據組成的。而實際開發中，爲了減少HDFS的壓力，同時提高後續MR的處理效率。往往會將同一組多個節點的數據匯聚到同一個文件中，這樣同時也較少了數據從生產到分析的時間。       如下圖，第一次agent

>>阅读原文<<