基於kubernetes實現efk日誌收集--aliyun

EFK平臺搭建（ALIYUN） 

環境準備：k8s-master01  k8s-node2  k8s-node2

 注意；該環境須要10G左右的內存分配，須要給pod節點配置多點內存

Meter節點：

添加 aliyun、aliyuncs、 google 倉庫

helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
helm repo add aliyuncs https://apphub.aliyuncs.com
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator

查看可用版本 

helm search elasticsearch | grep aliyun

建立文件目錄

mkdir efk
cd efk/

建立namespace命名空間

kubectl create namespace efk

下載elasticsearch、fluentd、kibana文件

helm fetch aliyuncs/elasticsearch --version=11.0.4
helm fetch incubator/fluentd-elasticsearch --version=2.0.7
helm fetch aliyuncs/kibana --version=5.0.6

解壓

tar -xf elasticsearch-11.0.4.tgz
tar -xf kibana-5.0.6.tgz
tar -xf fluentd-elasticsearch-2.0.7.tgz

 部署 ELASTICSEARCH

基於，實驗的資源有限，因此須要下降配置

 vim elasticsearch/values.yaml 

master:  name: master

  ## Number of master-eligible node(s) replicas to deploy

  ##

  replicas: 1 #副本數爲1

  …

  persistence:

    ## If true, use a Persistent Volume Claim, If false, use emptyDir

    ##

enabled: false  #關閉pv磁盤掛載

…

coordinating:

  ## Number of coordinating-only node(s) replicas to deploy

  ##

  replicas: 1 #副本數爲1

…

data:

  name: data

  ## Number of data node(s) replicas to deploy

  ##

  replicas: 1 #副本數爲1

…

  persistence:

    ## If true, use a Persistent Volume Claim, If false, use emptyDir

    ##

enabled: false  #關閉pv磁盤掛載

…

ingest:

  enabled: false

  name: ingest

  ## Number of ingest node(s) replicas to deploy

  ##

  replicas: 1 #副本數爲1

 指定es目錄下values所在，部署es

cd elasticsearch
helm  install --name els1 --namespace=efk -f values.yaml .

 

查看pod

kubectl get pod -n efk

查看svc

kubectl get svc  -n efk

 

運行pod獲取es集羣數據測試

kubectl run cirror-$RANDOM --rm -it --image=cirros -- /bin/sh

經過curl Elasticsearch:Port/_cat/nodes獲取es數據

curl 10.96.228.76:9200/_cat/nodes

部署FLUENTD

cd fluentd-elasticsearch
vim  values.yaml

# 更改其中 Elasticsearch 訪問地址

host: 'elasticsearch-client' 改成

host: '10.96.228.76’

在fluentd目錄下values所在，部署fluentd-elasticsearch

helm install --name flu1 --namespace=efk -f values.yaml .

查看pod

kubectl get pod -n efk | grep flu

 

部署 KIBANA 

cd kibana
vim  values.yaml

 persistence:

  enabled: false #關閉pv磁盤掛載

service:

  port: 80

  type: NodePort #svc網絡模式

elasticsearch:

  hosts:

     - 10.96.228.76   #es的地址

 port: 9200  #es端口

指定kibana目錄下values所在，部署kibana

helm install --name kib1 --namespace=efk -f values.yaml .

查看pod

kubectl get pod -n efk ｜ grep kib1

查看svc，獲取端口

kubectl get svc -n efk

訪問KIBANA

google訪問

http://MasterIP:端口

  新建索引

查看獲取的數據

到此已經完成了