ELK-redis日誌服務器搭建

 

elk+redis 搭建日誌分析平臺

這個是最新的elk+redis搭建日誌分析平臺，今年時間是2015年9月11日。

Elk分別爲 elasticsearch，logstash， kibana

官網爲：https://www.elastic.co/products

Elasticsearch:

https://www.elastic.co/downloads/elasticsearch
https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz

logstash:

https://www.elastic.co/downloads/logstash

https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

kibana:

https://www.elastic.co/products/kibana

https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

先說一下規劃



192.168.15.62爲日誌查看服務器，該機器須要安裝redis, elasticserch, logstatsh, kibana這四個應用程序。
192.168.15.2 爲應用程序nginx應用程序，咱們此次只收集他的日誌進行分析。

安裝

Yum install vim unix2dos wget curl curl-devel expect expect-devel

Yum install gcc glibc glib2 libgcc glibc-devel glib2-devel

Yum install m4 automake autoconf cmake   cpp

Yum install gcc-c++ libstdc++ libstdc++-devel libstdc++-docs

在192.168.15.62機器上：

以root身份登錄，在root的家目錄「/root」下：

Wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz

Wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

Wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

Wget http://download.redis.io/releases/redis-3.0.4.tar.gz

#tar –xvzf redis-3.0.4.tar.gz

#cd redis-3.0.4

#make

#make install

#cd utils

#./install_server.sh

這樣redis就安裝好了
#which redis-server在/usr/local/bin/redis-server 

配置文件放在/etc/redis/6379.conf文件

#redis-cli

>set aa aavalue

>get aa 便可測試。
#cd

#tar –xvzf elasticsearch-1.7.1.tar.gz

#cp –a elasticsearch-1.7.1 /usr/local

#cd /usr/local

#ln –s elasticsearch-1.7.1 elasticsearch

#cd

#tar –xvzf logstash-1.5.4.tar.gz

#cp –a logstash-1.5.4 /usr/local

#cd /usr/local

#ln –s logstash-1.5.4 logstash

#cd

#tar –xvzf kibana-4.1.2-linux-x64.tar.gz

#cp –a kibana-4.1.2-linux-x64 /usr/local

#cd /usr/local

#ln –s kibana-4.1.2-linux-x64 kibana

程序安裝所有完成。

因爲elasticsearch和logstash是安裝在一臺機器上因此elasticsearch默認配置便可。
/usr/local/elasticsearch/bin/elasticsearch –d （以deamon方式啓動elasticsearch）
打開192.168.15.62:9200便可看到

配置logstash程序
# cd /usr/local/logstash下，mkdir etc logs兩個文件夾，etc用於存放配置文件，logs用於存放日誌文件
在該etc目錄下創建一個central.conf配置文件：

該文件說明是以redis爲輸入，輸出到elasticsearch程序，格式爲json協議爲http.

啓動logstash程序如圖：
#/usr/local/logstash  agent –verbose --config /usr/local/logstash/etc/central.conf –log /usr/local/logstash/logs/stdou.log

Kibana程序如今是4版本了，自帶web，端口爲5601:

#cd /usr/local/kibana/bin/

#./kibana程序便可。

如今能夠打開 kibana的頁面了。

服務器安裝完成了，如今要在客戶端（192.168.25.2）收集日誌
#cd

#tar –xvzf logstash-1.5.4.tar.gz

#cp –a logstash-1.5.4 /usr/local

#cd /usr/local

#ln –s logstash-1.5.4 logstash

#cd /usr/local/logstash目錄
一樣須要#mkdir etc logs存放配置文件和日誌文件。
vim logstash_agent.conf

啓動該logstash程序便可。
#/usr/local/logstash/bin/logstash –f /usr/local/logstash/etc/logstash_agent.conf

這樣就把日誌傳給了日誌服務器了。
打開http://192.168.15.62:5601。就是打開kibana頁面。

配置一下：

就能夠看到日誌以傳送過來。如圖：