Elasticsearch的安裝入門
大綱：html
1、簡介java
2、Logstashnode
3、Redispython
4、Elasticsearchlinux
5、Kinabac++
1、簡介git
一、核心組成github
ELK由Elasticsearch、Logstash和Kibana三部分組件組成；web
Elasticsearch是個開源分佈式搜索引擎，它的特色有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。redis
Logstash是一個徹底開源的工具，它能夠對你的日誌進行收集、分析，並將其存儲供之後使用
kibana 是一個開源和免費的工具，它能夠爲 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，能夠幫助您彙總、分析和搜索重要數據日誌。
elk是什麼：
Elastic Stack（舊稱ELK Stack），是一種可以從任意數據源抽取數據，並實時對數據進行搜索、分析和可視化展示的數據分析框架。（hadoop同一個開發人員）
java 開發的開源的全文搜索引擎工具
基於lucence搜索引擎的
採用 restful - api 標準的
高可用、高擴展的分佈式框架
實時數據分析的
官方網站： https://www.elastic.co/products
二、爲何要用elk？
服務器衆多，組件衆多，日誌衆多
發現問題困難，技能要求高
業務場景：《實時日誌分析展示》
日誌主要包括系統日誌、應用程序日誌和安全日誌。
系統運維和開發人員能夠經過日誌瞭解服務器軟硬件信息、檢查配置過程當中的錯誤及錯誤發生的緣由。常常分析日誌能夠了解服務器的負荷，性能安全性，從而及時採起措施糾正錯誤。
一般，日誌被分散的儲存不一樣的設備上。若是你管理數十上百臺服務器，你還在使用依次登陸每臺機器的傳統方法查閱日誌。這樣是否是感受很繁瑣和效率低下。
當務之急咱們使用集中化的日誌管理，例如：開源的 syslog ，將全部服務器上的日誌收集彙總。
集中化管理日誌後，日誌的統計和檢索又成爲一件比較麻煩的事情，通常咱們使用 grep 、 awk和 wc 等 Linux 命令能實現檢索和統計，
可是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法不免有點力不從心。
開源實時日誌分析 ELK 平臺可以完美的解決咱們上述的問題， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三個開源工具組成。
三、四大組件
Logstash: logstash server端用來蒐集日誌；
Elasticsearch: 存儲各種日誌；
Kibana: web化接口用做查尋和可視化日誌；
Logstash Forwarder: logstash client端用來經過lumberjack 網絡協議發送日誌到logstash server；
四、ELK工做流程
在須要收集日誌的全部服務上部署logstash，做爲logstash agent（logstash shipper）用於監控並過濾收集日誌，將過濾後的內容發送到Redis，而後logstash indexer將日誌收集在一塊兒交給全文搜索服務ElasticSearch，能夠用ElasticSearch進行自定義搜索，經過Kibana 來結合自定義搜索進行頁面展現。
五、體系架構
六、ELK的幫助手冊
ELK官網：https://www.elastic.co/
ELK官網文檔：https://www.elastic.co/guide/index.html
ELK中文手冊：http://kibana.logstash.es/content/elasticsearch/monitor/logging.html
七、elk的技術架構
gateway：hdfs、Amazon S三、Local FileSystem、Shared FileSystem
Index module、Search module、 Mapping、River（引入異構數據的插件機制：RabbitMQ-River、Twitter-River）
zen和ec2---zk、scripting（mvel、python、js等）
第三方插件（Head、）
Transport（Thrift、Memcached、Http）
Java（Netty）
restful 和 curl
八、elk的基本概念
node 和 cluster
index（數據庫）->type（表）->document（行）->field （字段）
shards 分片
replicas 複製
九、其餘全文搜索
Solr：文本支持強，html、pdf、word、excel、cvs
Elasticsearch：實時數據分析，支持json格式
splunk
註釋
ELK有兩種安裝方式
(1)集成環境：Logstash有一個集成包，裏面包括了其全套的三個組件；也就是安裝一個集成包。
(2)獨立環境：三個組件分別單獨安裝、運行、各司其職。(比較經常使用)
本實驗也以第二種方式獨立環境來進行演示；單機版主機地址爲：192.168.1.104
2、Logstash
一、安裝jdk
|
1
2
3
4
5
6
|
Logstash的運行依賴於Java運行環境。
# yum -y install java-1.8.0
# java -version
openjdk version
"1.8.0_51"
OpenJDK Runtime Environment (build 1.8.0_51-b16)
OpenJDK 64-Bit Server VM (build 25.51-b03, mixed mode)
|
二、安裝logstash
|
1
2
3
4
5
6
|
# wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
# tar zxf logstash-1.5.4.tar.gz -C /usr/local/
配置logstash的環境變量
# echo "export PATH=\$PATH:/usr/local/logstash-1.5.4/bin" > /etc/profile.d/logstash.sh
# . /etc/profile
|
三、logstash經常使用參數
|
1
2
|
-e :指定logstash的配置信息，能夠用於快速測試;
-f :指定logstash的配置文件；能夠用於生產環境;
|
四、啓動logstash
4.1 經過-e參數指定logstash的配置信息，用於快速測試，直接輸出到屏幕。
|
1
2
3
4
5
|
# logstash -e "input {stdin{}} output {stdout{}}"
my name is zhengyansheng.
//
手動輸入後回車，等待10秒後會有返回結果
Logstash startup completed
2015-10-08T13:55:50.660Z 0.0.0.0 my name is zhengyansheng.
這種輸出是直接原封不動的返回...
|
4.2 經過-e參數指定logstash的配置信息，用於快速測試，以json格式輸出到屏幕。
|
1
2
3
4
5
6
7
8
9
10
|
# logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
my name is zhengyansheng.
//
手動輸入後回車，等待10秒後會有返回結果
Logstash startup completed
{
"message"
=>
"my name is zhengyansheng."
,
"@version"
=>
"1"
,
"@timestamp"
=>
"2015-10-08T13:57:31.851Z"
,
"host"
=>
"0.0.0.0"
}
這種輸出是以json格式的返回...
|
五、logstash以配置文件方式啓動
5.1 輸出信息到屏幕
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
# vim logstash-simple.conf
input { stdin {} }
output {
stdout { codec=> rubydebug }
}
# logstash -f logstash-simple.conf //普通方式啓動
Logstash startup completed
# logstash agent -f logstash-simple.conf --verbose //開啓debug模式
Pipeline started {:level=>:info}
Logstash startup completed
hello world.
//
手動輸入hello world.
{
"message"
=>
"hello world."
,
"@version"
=>
"1"
,
"@timestamp"
=>
"2015-10-08T14:01:43.724Z"
,
"host"
=>
"0.0.0.0"
}
效果同命令行配置參數同樣...
|
5.2 logstash輸出信息存儲到redis數據庫中
剛纔咱們是將信息直接顯示在屏幕上了，如今咱們將logstash的輸出信息保存到redis數據庫中,以下
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
前提是本地(192.168.1.104)有redis數據庫，那麼下一步咱們就是安裝redis數據庫.
# cat logstash_to_redis.conf
input { stdin { } }
output {
stdout { codec => rubydebug }
redis {
host =>
'192.168.1.104'
data_type =>
'list'
key =>
'logstash:redis'
}
}
若是提示Failed to send event to Redis，表示鏈接Redis失敗或者沒有安裝，請檢查...
|
六、 查看logstash的監聽端口號
|
1
2
3
|
# logstash agent -f logstash_to_redis.conf --verbose
# netstat -tnlp |grep java
tcp 0 0 :::9301 :::* LISTEN 1326
/java
|
3、Redis
一、安裝Redis
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
wget http:
//download
.redis.io
/releases/redis-2
.8.19.
tar
.gz
yum
install
tcl -y
tar
zxf redis-2.8.19.
tar
.gz
cd
redis-2.8.19
make
MALLOC=libc
make
test
//
這一步時間會稍久點...
make
install
cd
utils/
.
/install_server
.sh
//
腳本執行後，全部選項都以默認參數爲準便可
Welcome to the redis service installer
This script will help you easily
set
up a running redis server
Please
select
the redis port
for
this instance: [6379]
Selecting default: 6379
Please
select
the redis config
file
name [
/etc/redis/6379
.conf]
Selected default -
/etc/redis/6379
.conf
Please
select
the redis log
file
name [
/var/log/redis_6379
.log]
Selected default -
/var/log/redis_6379
.log
Please
select
the data directory
for
this instance [
/var/lib/redis/6379
]
Selected default -
/var/lib/redis/6379
Please
select
the redis executable path [
/usr/local/bin/redis-server
]
Selected config:
Port : 6379
Config
file
:
/etc/redis/6379
.conf
Log
file
:
/var/log/redis_6379
.log
Data
dir
:
/var/lib/redis/6379
Executable :
/usr/local/bin/redis-server
Cli Executable :
/usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied
/tmp/6379
.conf =>
/etc/init
.d
/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!
|
二、查看redis的監控端口
|
1
2
3
4
|
# netstat -tnlp |grep redis
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 3843
/redis-server
*
tcp 0 0 127.0.0.1:21365 0.0.0.0:* LISTEN 2290
/src/redis-serv
tcp 0 0 :::6379 :::* LISTEN 3843
/redis-server
*
|
三、測試redis是否正常工做
|
1
2
3
4
5
6
7
8
9
|
# cd redis-2.8.19/src/
# ./redis-cli -h 192.168.1.104 -p 6379 //鏈接redis
192.168.1.104:6379>
ping
PONG
192.168.1.104:6379>
set
name zhengyansheng
OK
192.168.1.104:6379> get name
"zhengyansheng"
192.168.1.104:6379> quit
|
四、redis服務啓動命令
|
1
2
|
# ps -ef |grep redis
root 3963 1 0 08:42 ? 00:00:00
/usr/local/bin/redis-server
*:6379
|
五、redis的動態監控
|
1
2
|
# cd redis-2.8.19/src/
# ./redis-cli monitor //reids動態監控
|
六、logstash結合redis工做
6.1 首先確認redis服務是啓動的
|
1
2
3
4
|
# netstat -tnlp |grep redis
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 3843
/redis-server
*
tcp 0 0 127.0.0.1:21365 0.0.0.0:* LISTEN 2290
/src/redis-serv
tcp 0 0 :::6379 :::* LISTEN 3843
/redis-server
*
|
6.2 啓動redis動態監控
|
1
2
3
|
# cd redis-2.8.19/src/
# ./redis-cli monitor
OK
|
6.3 基於入口redis啓動logstash
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
# cat logstash_to_redis.conf
input { stdin { } }
output {
stdout { codec => rubydebug }
redis {
host =>
'192.168.1.104'
data_type =>
'list'
key =>
'logstash:redis'
}
}
# logstash agent -f logstash_to_redis.conf --verbose
Pipeline started {:level=>:info}
Logstash startup completed
dajihao linux
{
"message"
=>
"dajihao linux"
,
"@version"
=>
"1"
,
"@timestamp"
=>
"2015-10-08T14:42:07.550Z"
,
"host"
=>
"0.0.0.0"
}
|
6.4 查看redis的監控接口上的輸出
|
1
2
3
4
5
|
# ./redis-cli monitor
OK
1444315328.103928 [0 192.168.1.104:56211]
"rpush"
"logstash:redis"
"{\"message\":\"dajihao linux\",\"@version\":\"1\",\"@timestamp\":\"2015-10-08T14:42:07.550Z\",\"host\":\"0.0.0.0\"}"
若是redis的監控上也有以上信息輸出，代表logstash和redis的結合是正常的。
|
4、Elasticsearch
一、安裝Elasticsearch
|
1
2
|
# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz
# tar zxf elasticsearch-1.7.2.tar.gz -C /usr/local/
|
二、修改elasticsearch配置文件elasticsearch.yml而且作如下修改.
|
1
2
3
4
5
|
# vim /usr/local/elasticsearch-1.7.2/config/elasticsearch.yml
discovery.zen.
ping
.multicast.enabled:
false
#關閉廣播，若是局域網有機器開9300 端口，服務會啓動不了
network.host: 192.168.1.104
#指定主機地址，實際上是可選的，可是最好指定由於後面跟kibana集成的時候會報http鏈接出錯（直觀體現好像是監聽了:::9200 而不是0.0.0.0:9200）
http.cors.allow-origin:
"/.*/"
http.cors.enabled:
true
#這2項都是解決跟kibana集成的問題，錯誤體現是 你的 elasticsearch 版本太低，其實不是
|
三、啓動elasticsearch服務
|
1
2
3
|
# /usr/local/elasticsearch-1.7.2/bin/elasticsearch #日誌會輸出到stdout
# /usr/local/elasticsearch-1.7.2/bin/elasticsearch -d #表示以daemon的方式啓動
# nohup /usr/local/elasticsearch-1.7.2/bin/elasticsearch > /var/log/logstash.log 2>&1 &
|
四、查看elasticsearch的監聽端口
|
1
2
3
|
# netstat -tnlp |grep java
tcp 0 0 :::9200 :::* LISTEN 7407
/java
tcp 0 0 :::9300 :::* LISTEN 7407
/java
|
五、elasticsearch和logstash結合
|
1
2
3
4
5
6
7
|
將logstash的信息輸出到elasticsearch中
# cat logstash-elasticsearch.conf
input { stdin {} }
output {
elasticsearch { host =>
"192.168.1.104"
}
stdout { codec=> rubydebug }
}
|
六、基於配置文件啓動logstash
|
1
2
3
4
5
6
7
8
9
10
|
# /usr/local/logstash-1.5.4/bin/logstash agent -f logstash-elasticsearch.conf
Pipeline started {:level=>:info}
Logstash startup completed
python linux java c++
//
手動輸入
{
"message"
=>
"python linux java c++"
,
"@version"
=>
"1"
,
"@timestamp"
=>
"2015-10-08T14:51:56.899Z"
,
"host"
=>
"0.0.0.0"
}
|
七、curl命令發送請求來查看elasticsearch是否接收到了數據
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
# curl http://localhost:9200/_search?pretty
{
"took"
: 28,
"timed_out"
:
false
,
"_shards"
: {
"total"
: 5,
"successful"
: 5,
"failed"
: 0
},
"hits"
: {
"total"
: 1,
"max_score"
: 1.0,
"hits"
: [ {
"_index"
:
"logstash-2015.10.08"
,
"_type"
:
"logs"
,
"_id"
:
"AVBH7-6MOwimSJSPcXjb"
,
"_score"
: 1.0,
"_source"
:{
"message"
:
"python linux java c++"
,
"@version"
:
"1"
,
"@timestamp"
:
"2015-10-08T14:51:56.899Z"
,
"host"
:
"0.0.0.0"
}
} ]
}
}
|
八、安裝elasticsearch插件
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#Elasticsearch-kopf插件能夠查詢Elasticsearch中的數據，安裝elasticsearch-kopf，只要在你安裝Elasticsearch的目錄中執行如下命令便可：
# cd /usr/local/elasticsearch-1.7.2/bin/
# ./plugin install lmenezes/elasticsearch-kopf
-> Installing lmenezes
/elasticsearch-kopf
...
Trying https:
//github
.com
/lmenezes/elasticsearch-kopf/archive/master
.zip...
Downloading .............................................................................................
Installed lmenezes
/elasticsearch-kopf
into
/usr/local/elasticsearch-1
.7.2
/plugins/kopf
執行插件安裝後會提示失敗，頗有多是網絡等狀況...
-> Installing lmenezes
/elasticsearch-kopf
...
Trying https:
//github
.com
/lmenezes/elasticsearch-kopf/archive/master
.zip...
Failed to
install
lmenezes
/elasticsearch-kopf
, reason: failed to download out of all possible locations..., use --verbose to get detailed information
解決辦法就是手動下載該軟件，不經過插件安裝命令...
cd
/usr/local/elasticsearch-1
.7.2
/plugins
wget https:
//github
.com
/lmenezes/elasticsearch-kopf/archive/master
.zip
unzip master.zip
mv
elasticsearch-kopf-master kopf
以上操做就徹底等價於插件的安裝命令
|
九、瀏覽器訪問kopf頁面訪問elasticsearch保存的數據
|
1
2
3
4
|
# netstat -tnlp |grep java
tcp 0 0 :::9200 :::* LISTEN 7969
/java
tcp 0 0 :::9300 :::* LISTEN 7969
/java
tcp 0 0 :::9301 :::* LISTEN 8015
/java
|
十、從redis數據庫中讀取而後輸出到elasticsearch中
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
# cat logstash-redis.conf
input {
redis {
host =>
'192.168.1.104'
# 我方便測試沒有指定password，最好指定password
data_type =>
'list'
port =>
"6379"
key =>
'logstash:redis'
#自定義
type
=>
'redis-input'
#自定義
}
}
output {
elasticsearch {
host =>
"192.168.1.104"
codec =>
"json"
protocol =>
"http"
#版本1.0+ 必須指定協議http
}
}
|
5、Kinaba
一、安裝Kinaba
|
1
2
|
# wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
# tar zxf kibana-4.1.2-linux-x64.tar.gz -C /usr/local
|
二、修改kinaba配置文件kinaba.yml
|
1
2
|
# vim /usr/local/kibana-
4.1
.
2
-linux-x64/config/kibana.yml
elasticsearch_url:
"http://192.168.1.104:9200"
|
三、啓動kinaba
|
1
2
3
4
5
6
|
/usr/local/kibana-4
.1.2-linux-x64
/bin/kibana
輸出如下信息，代表kinaba成功.
{
"name"
:
"Kibana"
,
"hostname"
:
"localhost.localdomain"
,
"pid"
:1943,
"level"
:30,
"msg"
:
"No existing kibana index found"
,
"time"
:
"2015-10-08T00:39:21.617Z"
,
"v"
:0}
{
"name"
:
"Kibana"
,
"hostname"
:
"localhost.localdomain"
,
"pid"
:1943,
"level"
:30,
"msg"
:
"Listening on 0.0.0.0:5601"
,
"time"
:
"2015-10-08T00:39:21.637Z"
,
"v"
:0}
kinaba默認監聽在本地的5601端口上
|
四、瀏覽器訪問kinaba
4.1 使用默認的logstash-*的索引名稱，而且是基於時間的，點擊「Create」便可。
4.2 看到以下界面說明索引建立完成。
4.3 點擊「Discover」，能夠搜索和瀏覽Elasticsearch中的數據。
>>>結束<<<
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
一、ELK默認端口號
elasticsearch：9200 9300
logstash : 9301
kinaba : 5601
二、錯誤彙總
(1)java版本太低
[2015-10-07 18:39:18.071] WARN -- Concurrent: [DEPRECATED] Java 7 is deprecated, please use Java 8.
(2)Kibana提示Elasticsearch版本太低...
This version of Kibana requires Elasticsearch 2.0.0 or higher on all nodes. I found the following incompatible nodes
in
your cluster:
Elasticsearch v1.7.2 @ inet[
/192
.168.1.104:9200] (127.0.0.1)
解決辦法：
|
軟件包以打包上傳：http://pan.baidu.com/s/1hqfeFvY
https://www.ibm.com/developerworks/cn/opensource/os-cn-elk/
https://www.jianshu.com/p/797073c1913f
https://www.cnblogs.com/lexiaofei/p/6548528.html
http://blog.51cto.com/467754239/1700828
賽克藍德日誌分析軟件(SeciLog)
避免採坑。一、須要啓動四個終端，分別作：寫入日誌到redislogstash agent -f /usr/local/logstash-1.5.4/logstash_to_redis.conf —verbose日誌發送到eslogstash agent -f /usr/local/logstash-1.5.4/logstash-redis.conf —verbosees啓動，能夠觀察數據/usr/local/elasticsearch-1.7.2/bin/elasticsearch啓動/usr/local/kibana-4.1.2-linux-x64/bin/kibana二、測試的時候，先在第一個終端寫入log數據，就能夠看到在kibana裏看到數據了。三、個人環境因爲系統時間問題，致使kibana查不到數據，坑了好長時間
- 1. elasticsearch安裝入門
- 2. ElasticSearch入門安裝
- 3. Elasticsearch的安裝入門
- 4. (1)elasticsearch的安裝入門
- 5. ElasticSearch入門1: mac 安裝
- 6. Elasticsearch入門與安裝
- 7. Elasticsearch 入門（安裝、調試）
- 8. ELK入門01—Elasticsearch安裝
- 9. ElasticSearch入門 ：Windows下安裝ElasticSearch
- 10. ElasticSearch從入門到精通 （ElasticSearch安裝）
- 更多相關文章...
- • Memcached入門教程 - NoSQL教程
- • Docker 安裝 Nginx - Docker教程
- • Composer 安裝與使用
- • YAML 入門教程
-
每一个你不满意的现在，都有一个你没有努力的曾经。