flume 1.7 的配置

 Apache Flume是一個分佈式的、可靠的、高效的日誌數據收集組件；咱們一般使用Flume將分散在集羣中多個Servers的log文件，聚集到中央式的數據平臺中，以解決「從離散的日誌文件中查看、統計數據困難」的問題。固然，Flume不單單能夠收集log文件，它也支持好比TCP、UDP等消息數據的收集；不管如何，咱們最終解決的問題就是「將離散的數據進行收集

flume的一些核心概念：
Agent使用JVM 運行Flume。每臺機器運行一個agent，可是能夠在一個agent中包含多個sources和sinks。
Client生產數據，運行在一個獨立的線程。
Source從Client收集數據，傳遞給Channel。
Sink從Channel收集數據，運行在一個獨立線程。
Channel鏈接 sources 和 sinks ，這個有點像一個隊列。
Events能夠是日誌記錄、 avro 對象等

Flume以agent爲最小的獨立運行單位。一個agent就是一個JVM。單agent由Source、Sink和Channel三大組件構成，以下圖：

二 、flume的官網

http://flume.apache.org/

下載地址：   http://flume.apache.org/download.html

3、安裝

1.解壓下載好的包

# >  tar -zxvf apache-flume-1.7.0-bin.tar.gz

2.修改系統環境變量

 # > vim /etc/profile

export FLUME_HOME=/home/bigdata/flume-1.7.0

export PATH=$PATH:$FLUME_HOME/bin:

3.刷新環境變量

# > source /etc/profile

 4.驗證安裝

# > flume-ng version

會看到如下輸出：

5.修改flume的flume-env.sh 配置文件

# > /home/flume-1.7.0/conf

在文件中添加

export JAVA_HOME=/home/jdk1.8.0_131/

完成！！！