大數據第九課-Flume的安裝和使用

1、Flume的安裝

==Flume安裝很簡單，解壓好基本上就可使用==

一、下載安裝包

http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.2.tar.gz

flume-ng-1.6.0-cdh5.14.2.tar.gz

二、規劃安裝目錄

/kkb/install

三、上傳安裝包到服務器

四、解壓安裝包到指定的規劃目錄

tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz -C /kkb/install

五、重命名解壓目錄

mv apache-flume-1.6.0-cdh5.14.2-bin flume-1.6.0-cdh5.14.2

六、修改配置

進入到flume安裝目錄下的conf文件夾中

先重命名文件

mv flume-env.sh.template flume-env.sh

修改文件，添加java環境變量

 vim flume-env.sh

export JAVA_HOME=/kkb/install/jdk1.8.0_141

2、Flume的使用

一、監控本地的文件修改狀況，並將其在控制檯輸出                     

     （單機安裝Flume，不須要啓動HDFS）

二、監控本地的文件修改狀況，將其按照格式存入HDFS上       

    （單機安裝Flume，   須要啓動HDFS）

三、監控某目錄文件修改狀況，將其按照格式存入HDFS上          

  （單機安裝Flume，   須要啓動HDFS）

四、監控 A 機器上的文件修改狀況，同網絡與 B 機器上的flume級聯，B機器接收A機器的信息並傳輸到HDFS上

  （A，B 機器安裝Flume，   須要啓動HDFS）

五、故障轉移　　  （當監控中的一臺機器故障後，另外一臺機器自動接替工做）

六、負載均衡         （經過多臺機器 輪流 去監控某目錄下的信息）

七、靜態攔截器　  （監控多臺電腦指定目錄的修改信息，經過另外一臺機器 存儲到HDFS的指定目錄上）

八、自定義攔截器  （按照需求將不須要顯示的內容按照編碼掩蓋）

九、自定義Source （監控數據庫，將修改信息發送到本機控制檯）

十、自定義Sink   （監控本地文件，將修改信息發送給MySQL數據庫）

flume的指令在實際運用時須要在後臺執行（nohup）