[原創]ubuntu14.04部署ELK+redis日誌分析系統

ubuntu14.04部署ELK+redis日誌分析系統

[環境]
	host1:172.17.0.4	搭建ELK+redis服務
	host2:172.17.0.3	搭建logstash+nginx服務
	
	注：安裝開發編譯包：
	#apt-get install build-essential -y		（ubuntu）
	#yum groupinstall "Development Tools" -y	（CentOS）

1、ELK的運行環境須要java支持，ubuntu14.04安裝java8。(host1和host2都須要執行)
	#apt-get install python-software-properties
	#apt-get install software-properties-common
	#add-apt-repository ppa:webupd8team/java
	#apt-get update
	#apt-get install oracle-java8-installer

2、下載ELK+redis安裝包。
	wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz
	wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
	wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
	wget http://download.redis.io/releases/redis-3.0.4.tar.gz

3、安裝redis。
1）redis安裝須要tcl支持，因此安裝tcl。
	#wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz
	#tar xzvf tcl8.6.1-src.tar.gz  -C /usr/local/
	#cd  /usr/local/tcl8.6.1/unix/
	#./configure
	#make && make install
2）安裝redis。
	#tar –xvzf redis-3.0.4.tar.gz
	#cd redis-3.0.4
	#make
	#make test	//須要tcl的支持，要安裝tcl
	#cd utils
	#./install_server.sh

這樣redis就安裝好了，能夠測試一下。
	#redis-cli
	>keys *
	>set aa aavalue
	>get aa 便可測試。

4、安裝elasticsearch，解壓便可。
	#tar –xvzf elasticsearch-1.7.1.tar.gz

5、安裝logstash，解壓便可。
	#tar –xvzf logstash-1.5.4.tar.gz

6、安裝kibana，解壓便可。
	#tar –xvzf kibana-4.1.2-linux-x64.tar.gz

7、配置和啓動服務。
	因爲elasticsearch和logstash是安裝在一臺機器上因此elasticsearch默認配置便可。
	#./elasticsearch/bin/elasticsearch –d &（以deamon方式啓動elasticsearch）
	訪問http://172.17.0.4:9200便可看到

8、配置logstash程序
	1） 在logstash\bin目錄下，mkdir {conf,logs}兩個文件夾，conf用於存放配置文件，logs用於存放日誌文件
	在該conf目錄下創建一個central.conf配置文件：
	input{   
		redis{   
			host=>"127.0.0.1"
			port=>6379
			type=>"redis-input"
			data_type=>"list"
			key=>"logstash:redis"
		}
	}

	output{
		stdout{}
		elasticsearch{
			host=>"127.0.0.1"
			port=>9200
			cluster=>"elasticsearch"
			codec=>"json"
			protocol=>"http"
		}   
	}
	2）啓動
	#./logstash agent --verbose -f conf/central.conf --log logs/stdout.log &

9、啓動kibana
	#./kibana &

10、配置客戶端收集日誌：
	1）安裝配置客戶端logstash。
	#tar –xvzf logstash-1.5.4.tar.gz
	#cd logstash/bin
	一樣須要#mkdir {conf,logs}存放配置文件和日誌文件。
	#vim logstash_agent.conf
	input{
		file {
		   type=>"nginx_access"
			   path => "/var/log/nginx/access.log"
			   start_position => "beginning"
		   sincedb_path => "/data/info.txt"
	  }
	}

	output{
		stdout { codec => rubydebug }
		redis{
			host=>"172.17.0.4"
			port=>6379
			data_type=>"list"
			key=>"logstash:redis"
		} 
	}

	2）啓動logstash程序
	#./logstash --verbose -f /data/logstash-1.5.4/bin/conf/logstash_agent.conf &

11、測試
	在客戶端安裝了nginx服務。經過使用curl工具for循環訪問產生訪問日誌。而後用瀏覽器打開http://172.17.0.4:5601便可查看kibana日誌了。