flume概念介紹及工作機制（twenty-nine day first ）

先理解一下flume 數據採集 業務系統產生的日誌等需要分析的數據存在了HDFS上，或KAFKA上，或MYSQL裏，這種各種的數據源裏，然後分析以後將結果文件放到目標文件中。 接着框架flume出現了，它定義了一個數據採集的流程，1、讀數據，2、緩存數據，3、寫數據 爲避免讀數據和寫數據的速度不匹配（寫數據是恆定的，但業務系統因爲各種原因產生數據有時候是不確定的，所以讀數據是不確定的），所以需要緩

>>阅读原文<<