K8S學習筆記之使用Fluent-bit將容器標準輸入和輸出的日誌發送到Kafka

 

0x00 概述

K8S內部署微服務後，對應的日誌方案是不落地方案，即微服務的日誌不掛在到本地數據卷，全部的微服務日誌都採用標準輸入和輸出的方式(stdin/stdout/stderr)存放到管道內，容器日誌採用的是json格式。

目前大部分K8S容器日誌都採用Fluent或者Fluent-bit，將日誌傳輸到ES集羣，本文主要講使用Fluent-bit將容器的日誌傳輸到Kafka。

 

0x01 部署Fluent-bit並傳輸到Kafka

詳細請看https://github.com/fluent/fluent-bit-kubernetes-logging

1.1 建立Fluent-bit Daemonset使用的configmap

$ kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-configmap.yaml

1.2 配置Fluent-bit Daemonset將K8S日誌傳輸到Kafka

$ kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/output/kafka/fluent-bit-ds.yaml

 

0x02 Fluent-bit輸出方向ES和Kafka

https://github.com/fluent/fluent-bit-kubernetes-logging/tree/master/output

 

0x03 Fluent-bit將K8S日誌傳輸到Kafka

https://github.com/fluent/fluent-bit-kubernetes-logging/tree/master/output/kafka

 將https://github.com/fluent/fluent-bit-kubernetes-logging/blob/master/output/kafka/fluent-bit-configmap.yaml 文件內的Brokers的value改寫成Kafka的IP加9092端口便可。

例如   10.10.11.32:9092

 

0x04 日誌格式過濾

關於詳細的部署的格式過濾能夠參考這篇https://www.jianshu.com/p/1000ae80a493

 

0x05 總結

多參考官方網站和搜刮github，儘可能少使用百度，百度搜索幾乎無解。。。。