大數據教程（7.6）shell腳本定時採集日誌數據到hdfs

        上一篇博客博主分享了hadoop內置rpc的使用案例，本節博主將爲小夥伴們分享一個在實際生產中使用的日誌蒐集案例。前面的文章咱們有講到過用戶點擊流日誌分析的流程，本節就是要完成這個分析流程中的日誌蒐集。

        日誌收集有三種方式：

        (1)、shell腳本蒐集（利用hadoop命令行客戶端hadoop fs -put ..）

        (2)、java程序收集(利用hadoop hdfs API的copyFromLocal方法）

               經過java程序咱們能夠寫出上傳的邏輯後用linux的定時任務cron或java自帶的定時器定時任務來進行實時收集。

        (3)、Flume開源實時日誌蒐集系統

       日誌收集圖：

 

            shell腳本以下：

#!/bin/bash

#set java env
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#set hadoop env
export HADOOP_HOME=/home/hadoop/app/hadoop-2.9.1
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH



#   一、先將須要上傳的文件移動到待上傳目錄
#	二、在講文件移動到待上傳目錄時，將文件按照必定的格式重名名
#		/export/software/hadoop.log1   /export/data/click_log/xxxxx_click_log_{date}


#日誌文件存放的目錄
log_src_dir=/home/hadoop/logs/log/

#待上傳文件存放的目錄
log_toupload_dir=/home/hadoop/logs/toupload/


#日誌文件上傳到hdfs的根路徑
hdfs_root_dir=/data/clickLog/20151226/

#打印環境變量信息
echo "envs: hadoop_home: $HADOOP_HOME"


#讀取日誌文件的目錄，判斷是否有須要上傳的文件
echo "log_src_dir:"$log_src_dir
ls $log_src_dir | while read fileName
do
	if [[ "$fileName" == access.log.* ]]; then
	# if [ "access.log" = "$fileName" ];then
		date=`date +%Y_%m_%d_%H_%M_%S`
		#將文件移動到待上傳目錄並重命名
		#打印信息
		echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"
		mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date
		#將待上傳的文件path寫入一個列表文件willDoing
		echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
	fi
	
done
#找到列表文件willDoing
ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
do
	#打印信息
	echo "toupload is in file:"$line
	#將待上傳文件列表willDoing更名爲willDoing_COPY_
	mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
	#讀列表文件willDoing_COPY_的內容（一個一個的待上傳文件名）  ,此處的line 就是列表中的一個待上傳文件的path
	cat $log_toupload_dir$line"_COPY_" |while read line
	do
		#打印信息
		echo "puting...$line to hdfs path.....$hdfs_root_dir"
		hadoop fs -put $line $hdfs_root_dir
	done	
	mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
done

        最後寄語，以上是博主本次文章的所有內容，若是你們以爲博主的文章還不錯，請點贊；若是您對博主其它服務器大數據技術或者博主本人感興趣，請關注博主博客，而且歡迎隨時跟博主溝通交流。