容器網絡（十一）萬能數據收集器 Fluentd【84】

（五）萬能數據收集器 Fluentd

前面的 ELK 中咱們是[用 Filebeat 收集 Docker 容器日誌]，利用的是 Docker 默認的 logging driver json-file，本節咱們將使用 fluentd 來收集容器的日誌。

Fluentd 是一個開源的數據收集器，它目前有超過 500 種的 plugin，能夠鏈接各類數據源和數據輸出組件。在接下來的實踐中，Fluentd 會負責收集容器日誌，而後發送給 Elasticsearch。日誌處理流程以下：

這裏咱們用 Filebeat 將 Fluentd 收集到的日誌轉發給 Elasticsearch。這固然不是惟一的方案，Fluentd 有一個 plugin fluent-plugin-elasticsearch 能夠直接將日誌發送給 Elasticsearch。條條道路通羅馬，開源世界給予了咱們多種可能性，能夠根據須要選擇合適的方案。

（1）安裝 Fluentd

一樣的，最高效的實踐方式是運行一個 fluentd 容器。

docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd

fluentd 會在 TCP/UDP 端口 24224 上接收日誌數據，日誌將保存在 Host 的 /data 目錄中。

fluentd 會在 TCP/UDP 端口 24224 上接收日誌數據，日誌將保存在 Host 的 /data 目錄中。

(2)從新配置 Filebeat

編輯 Filebeat 的配置文件 /etc/filebeat/filebeat.yml，將 /data 添加到監控路徑中。

重啓 Filebeat。

systemctl restart filebeat.service

(3)監控容器日誌

啓動測試容器。

docker run -d \
           --log-driver=fluentd \
           --log-opt fluentd-address=localhost:24224 \
           --log-opt tag="log-test-container-A" \
           busybox sh -c 'while true; do echo "This is a log message from container A"; sleep 10; done;'

docker run -d \
           --log-driver=fluentd \
           --log-opt fluentd-address=localhost:24224 \
           --log-opt tag="log-test-container-B" \
           busybox sh -c 'while true; do echo "This is a log message from container B"; sleep 10; done;'

--log-driver=fluentd 告訴 Docker 使用 Fluentd 的 logging driver。

--log-opt fluentd-address=localhost:24224 將容器日誌發送到 Fluentd 的數據接收端口。

--log-opt tag="log-test-container-A" 和 --log-opt tag="log-test-container-B" 在日誌中添加一個可選的 tag，用於區分不一樣的容器。

容器啓動後，Kibana 很快就可以查詢到容器的日誌。