logstash+es+kibana+redis搭建

環境信息：

CentOS 6.5

redis 3.0.4

logstash

elasticsearch

kibana

服務端ip:192.168.0.65

客戶端ip:192.168.0.66

關係結構圖：

圖片引用自：http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html

安裝redis

首先下載redis

wget http://download.redis.io/releases/redis-3.0.4.tar.gz

下載以後解壓，編譯安裝

tar -zvxf redis-3.0.4.tar.gz

make

make install

而後啓動redis

redis-server redis.conf &

添加&符號表示後臺啓動

安裝logstash

服務器端

首先安裝java環境這裏使用比較簡單的方法

yum install jdk –y

若是你手動安裝的話建議安裝java1.8

下載logstash

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

下載以後解壓

tar –zxvf logstash-1.5.4.tar.gz

而後到logstash目錄下，建立config目錄並建立一個logstash_server.conf文件，建立logs目錄存放日誌並建立logstash.log文件

編輯文件

vim logstash_server.conf

將一下內容寫入到logstash_server.conf中

input {
        redis {
                host => "127.0.0.1"           #本地的reds地址
                port => 6379                      #redis端口
                type => "redis-input"           #輸入類型
                data_type => "list"               #使用redis的list存儲數據
                key => "key_count"
        }
}

output {
        stdout {}
        elasticsearch {
                host => "127.0.0.1"               #elasticsearch地址
                cluster => "elasticsearch"
                codec => "json"
                protocol => "http"                  #elasticsearch使用的協議
        }
}

配置完成後啓動logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

 

數據採集端

數據採集端的安裝步驟與服務器端的安裝步驟相同

只是在配置文件有所不一樣

在數據採集端建立logstash_client.conf

數據採集端的conf文件配置爲：

input {
	file {
		type => "type_count"

#日誌所在的目錄

path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
		exclude => ["*.gz", "access.log"]   #排除一些不想加入的日誌
	}   
}

output {
	stdout {}
	redis {
		host => "192.168.0.65"
		port => 6379
		data_type => "list"         #數據類型也要保持一致
		key => "key_count"          #key 要與服務器端的相同 
	}   
}

配置完成後啓動logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

 

安裝elasticsearch

下載elasticsearch

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz

解壓： tar –zvxf elasticsearch-1.7.2.tar.gz

elasticsearch 不須要特別的配置，只須要啓動便可

切到elasticsearch的目錄下進行啓動：bin/elasticsearch –d

-d命令表示後臺啓動elasticsearch

安裝kibana

下載kibana

wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

解壓：tar –zxvf kibana-4.1.2-linux-x64.tar.gz

kibana須要配置一下elasearch所在的服務器地址

切到kibana的目錄下

vim config/kibana.yml

找到   elasticsearch_url: "http://localhost:9200" 這一行修改成 elasticsearch_url: http://127.0.0.1:9200
kibana的啓動須要須要一個.kibana的隱藏文件，能夠在啓動kibana以後執行下面的命令：

curl -XPUT localhost:9200/.kibana

 

測試安裝是否成功

咱們啓動redis監控輸入的信息

redis-cli –p 6379 mointor

而後咱們到客戶端的日誌文件中寫入一些測試信息：

 

echo 'this is a test message!' >>  /data/logs/count/stderr.log

會看到服務器端接收到信息：

到此，基本的搭建就已經完成了

到瀏覽器訪問便可：http://192.168.0.65:5601

 

最後推薦幾個kibana使用的地址：

  http://www.code123.cc/docs/kibana-logstash/v4/index.html