Flume-ng(Flume-1.6.0) CentOS7配置過程

一、配置JDK環境（JDK6.0版本以上）

解壓JDK tar包到本地文件夾/usr/local/java目錄。

打開終端輸入vi /etc/profile命令（使用GNOME桌面的話能夠直接gedit /etc/profile 直接save保存更方便）。

按insert鍵在文件末尾追加：

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

按Esc鍵退出編輯，輸入：wq保存並退出。

此時在終端中輸入java -version確認配置成功，假若顯示OpenJDK，需先將其卸載。

二、配置Flume-1.x.x環境

解壓flume tar包到本地文件夾/usr/local/flume目錄。

打開終端輸入 vi /etc/profile 命令。

按insert鍵正在文件末尾追加：

export FLUME_HOME=/usr/local/flume/flume-1.6.0
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin

按Esc鍵退出編輯，輸入：wq保存並退出。

此時在終端中輸入flume-ng version確認配置成功。

配置成功結果以下：

二、配置代理配置文件

   在flume根目錄下的conf文件夾中新建properties文件，文件名可自定義。

   本文定義爲flume-conf.properties。

   配置文件內容以下：

   參考官方文檔示例：http://flume.apache.org/FlumeUserGuide.html

#單節點配置文件

# a1,r1,k1,c1分別爲自定義的代理名稱，源名稱，接收器名稱，通道名稱
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 定義源爲netcat鏈接模式，綁定IP爲localhost，端口爲44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 定義接收器輸出日誌
a1.sinks.k1.type = logger

# 定義內存通道
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100

# 綁定源r1和接收器k1到通道c1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

三、測試鏈接

以root用戶權限在終端進入flume根目錄（/usr/local/flume/flume-1.6.0）。

輸入命令：其中a1爲自定義的代理名稱。

bin/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties

運行結果以下：末尾光標停留

打開新終端，輸入telnet IP 端口 或 ncat IP 端口 命令

本文輸入命令：telnet 127.0.0.1 44444 輸入「hello flume-ng」測試，回車後顯示OK。

此時查看/usr/local/flume/flume-1.6.0/logs/flume.log文件。

能夠查看代理啓動記錄和Event事件記錄。以下：

日誌輸出地址由/usr/local/flume/flume-1.6.0/conf/log4j.properties文件定義。