使用Fluentd收集Docker容器日誌

本文介紹使用Fluentd收集standalone容器日誌的方法。

Docker提供了不少logging driver，默認狀況下使用的json-file，它會把容器打到stdout/stderr的日誌收集起來存到json文件中，docker logs所看到的日誌就是來自於這些json文件。

當有多個docker host的時候你會但願可以把日誌聚集起來，集中存放到一處，本文講的是如何經過fluentd logging driver配合fluentd來達成這一目標。

目標：

1. 將standalone容器打到stdout/stderror的日誌收集起來
2. 收集的日誌根據容器名分開存儲
3. 日誌文件根據天天滾動

第一步：配置Fluentd實例

首先是配置文件fluent.conf：

<source>
  @type   forward
</source>

<match *>

  @type              file

  path               /fluentd/log/${tag}/${tag}
  append             true
  <format>
    @type            single_value
    message_key      log
  </format>
  <buffer tag,time>
    @type             file
    timekey           1d
    timekey_wait      10m
    flush_mode        interval
    flush_interval    30s
  </buffer>
</match>

新建一個目錄好比/home/ubuntu/container-logs，並賦予權限chmod 777 /home/ubuntu/container-logs。

而後啓動Fluentd實例，這裏使用的Docker方式：

docker run -it \
  -d \
  -p 24224:24224 \
  -v /path/to/conf/fluent.conf:/fluentd/etc/fluent.conf \
  -v /home/ubuntu/container-logs:/fluentd/log
  fluent/fluentd:v1.3

第二步：指定容器的logging driver

在啓動容器的時候執行使用fluentd做爲logging driver：

docker run -d \
  ...
  --log-driver=fluentd \
  --log-opt fluentd-address=<fluentdhost>:24224 \
  --log-opt mode=non-blocking \
  --log-opt tag={{.Name}} \
  <image>

第三步：觀察日誌

到/home/ubuntu/container-logs目錄下可以看到相似這樣的目錄結構：

.
└── <container-name>
    └── <container-name>.20190123.log

參考文檔

• Configure logging drivers
• Customize log driver output
• Use Fluentd logging driver
• Docker CLI - run

• Fluentd

  • Fluentd - out_file
  • Fluentd - formatter_single_value
  • Fluentd - buf_file
  • Fluentd - buffer