公司新來個同事，Docker 日誌管理玩的賊 6 ！
來源：自由遲早亂餘生
www.cnblogs.com/operationhome/p/10907591.html
Docker-CE Server Version: 18.09.6 Storage Driver: overlay2 Kernel Version: 3.10.0-862.el7.x86_64 Operating System: CentOS Linux 7 (Core)
Docker 日誌分爲兩類：html
- Docker 引擎日誌(也就是 dockerd 運行時的日誌)，
- 容器的日誌，容器內的服務產生的日誌。
一 、Docker 引擎日誌
Docker 引擎日誌通常是交給了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者通常位於 /var/log/upstart/docker.log 下，後者咱們通常 經過 journalctl -u docker 來進行查看。java
2、容器日誌
2.一、經常使用查看日誌命令——docker logs
docker logs CONTAINER 顯示當前運行的容器的日誌信息， UNIX 和 Linux 的命令有三種 輸入輸出，分別是 STDIN(標準輸入)、STDOUT(標準輸出)、STDERR(標準錯誤輸出)，docker logs 顯示的內容包含 STOUT 和 STDERR。在生產環境，若是咱們的應用輸出到咱們的日誌文件裏，因此咱們在使用 docker logs 通常收集不到太多重要的日誌信息。linux
- nginx 官方鏡像，使用了一種方式，讓日誌輸出到 STDOUT，也就是 建立一個符號連接
/var/log/nginx/access.log到/dev/stdout。- httpd 使用的是 讓其輸出到指定文件 ，正常日誌輸出到
/proc/self/fd/1(STDOUT) ，錯誤日誌輸出到/proc/self/fd/2(STDERR)。- 當日志量比較大的時候，咱們使用 docker logs 來查看日誌，會對 docker daemon 形成比較大的壓力，容器致使容器建立慢等一系列問題。
- 只有使用了 `local 、json-file、journald` 的日誌驅動的容器纔可使用 docker logs 捕獲日誌，使用其餘日誌驅動沒法使用 `docker logs`
2.2 、Docker 日誌 驅動
Docker 提供了兩種模式用於將消息從容器到日誌驅動。nginx
- (默認)拒絕，阻塞從容器到容器驅動
- 非阻塞傳遞,日誌將儲存在容器的緩衝區。
當緩衝區滿，舊的日誌將被丟棄。
在 mode 日誌選項控制使用 blocking(默認) 或者 non-blocking, 當設置爲 non-blocking須要設置 max-buffer-size 參數(默認爲 1MB)。web
支持的驅動redis
使用 Docker-CE 版本，docker logs命令 僅僅適用於如下驅動程序(前面 docker logs 詳解也說起到了)docker
- local
- json-file
- journald
1558055133186json
Docker 日誌驅動經常使用命令
查看系統當前設置的日誌驅動tomcat
docker info |grep "Logging Driver" / docker info --format '{{.LoggingDriver}}' 服務器
查看單個容器的設置的日誌驅動
docker inspect -f '{{.HostConfig.LogConfig.Type}}' 容器id
Docker 日誌驅動全局配置更改
修改日誌驅動，在配置文件 /etc/docker/daemon.json（注意該文件內容是 JSON 格式的）進行配置便可。
示例：
{
"log-driver": "syslog"
}
以上更改是針對全部的容器的日誌驅動的。咱們也能夠單獨爲單一容器設置日誌驅動。
Docker 單一容器日誌驅動配置
在 運行容器的時候指定 日誌驅動 --log-driver。
docker run -itd --log-driver none alpine ash # 這裏指定的日誌驅動爲 none
日誌驅動 一 、local
local 日誌驅動 記錄從容器的 STOUT/STDERR 的輸出，並寫到宿主機的磁盤。
默認狀況下，local 日誌驅動爲每一個容器保留 100MB 的日誌信息，並啓用自動壓縮來保存。(通過測試，保留100MB 的日誌是指沒有通過壓縮的日誌)
local 日誌驅動的儲存位置 /var/lib/docker/containers/容器id/local-logs/ 以container.log 命名。
local 驅動支持的選項
全局日誌驅動設置爲—local
在配置文件 /etc/docker/daemon.json（注意該文件內容是 JSON 格式的）進行配置便可。
{
"log-driver": "local",
"log-opts":
{
"max-size": "10m"
}
}
重啓 docker 便可生效。
單個容器日誌驅動設置爲—local
運行容器並設定爲 local 驅動。
# 運行一個容器 ，並設定日誌驅動爲 local ，並運行命令 ping www.baidu.com
[root@localhost docker]# docker run -itd --log-driver local alpine ping www.baidu.com
3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156
# 查看運行的容器的 日誌驅動是不是 local
[root@localhost docker]# docker inspect -f '{{.HostConfig.LogConfig.Type}}' 3795b6483534961c
local
# 查看日誌
[root@localhost local-logs]# tail -f /var/lib/docker/containers/3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156/local-logs/container.log
NNdout????:64 bytes from 14.215.177.38: seq=816 ttl=55 time=5.320 ms
NNdout?μ???:64 bytes from 14.215.177.38: seq=817 ttl=55 time=4.950 ms
注意事項：通過測試，當咱們產生了100 MB 大小的日誌時 會有 四個壓縮文件和一個
container.log：[root@localhost local-logs]# ls -l total 32544 -rw-r-----. 1 root root 18339944 May 16 09:41 container.log -rw-r-----. 1 root root 3698660 May 16 09:41 container.log.1.gz -rw-r-----. 1 root root 3726315 May 16 09:41 container.log.2.gz -rw-r-----. 1 root root 3805668 May 16 09:41 container.log.3.gz -rw-r-----. 1 root root 3744104 May 16 09:41 container.log.4.gz那麼當超過了 100MB 的日誌文件，日誌文件會繼續寫入到
container.log，可是會將container.log日誌中老的日誌刪除，追加新的，也就是 當寫滿 100MB 日誌後 ，再產生一條新日誌，會刪除container.log中的一條老日誌，保存 100MB 的大小。這個 對咱們是會有一些影響的，當我運行系統時 第一天因爲bug產生了 100MB 日誌，那麼以前的日誌就已經有 80MB 日誌變成的壓縮包，因此我在後續的運行中，只能獲取最近的 20MB日誌。
日誌驅動 2、 默認的日誌驅動—JSON
全部容器默認的日誌驅動 json-file。
json-file 日誌驅動 記錄從容器的 STOUT/STDERR 的輸出 ，用 JSON 的格式寫到文件中，日誌中不只包含着 輸出日誌，還有時間戳和 輸出格式。下面是一個 ping www.baidu.com 對應的 JSON 日誌
{"log":"64 bytes from 14.215.177.39: seq=34 ttl=55 time=7.067 ms\r\n","stream":"stdout","time":"2019-05-16T14:14:15.030612567Z"}
json-file 日誌的路徑位於 /var/lib/docker/containers/container_id/container_id-json.log。
json-file 的 日誌驅動支持如下選項：
json-file 的日誌驅動示例
# 設置 日誌驅動爲 json-file ，咱們也能夠不設置，由於默認就是 json-file
docker run -itd --name test-log-json --log-driver json-file alpine ping www.baidu.com
199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e
# 查看日誌,日誌名稱就是 容器名稱-json.log
tail -f /var/lib/docker/containers/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e-json.log
{"log":"64 bytes from 14.215.177.39: seq=13 ttl=55 time=15.023 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.003118877Z"}
{"log":"64 bytes from 14.215.177.39: seq=14 ttl=55 time=9.640 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.999011017Z"}
{"log":"64 bytes from 14.215.177.39: seq=15 ttl=55 time=8.938 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:55.998612636Z"}
{"log":"64 bytes from 14.215.177.39: seq=16 ttl=55 time=18.086 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:57.011235913Z"}
{"log":"64 bytes from 14.215.177.39: seq=17 ttl=55 time=12.615 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:58.007104112Z"}
{"log":"64 bytes from 14.215.177.39: seq=18 ttl=55 time=11.001 ms\r\n","stream":"stdout","time":"2019-05-16T14:13:59.007559413Z"}
日誌驅動 3、syslog
syslog 日誌驅動將日誌路由到 syslog 服務器，syslog 以原始的字符串做爲 日誌消息元數據，接收方能夠提取如下的消息：
- level 日誌等級 ，如
debug，warning，error，info。 - timestamp 時間戳
- hostname 事件發生的主機
- facillty 系統模塊
- 進程名稱和進程 ID
syslog 日誌驅動全局配置
編輯 /etc/docker/daemon.json 文件
{
"log-driver": "syslog",
"log-opts":
{
"syslog-address": "udp://1.2.3.4:1111"
}
}
重啓 docker 便可生效。
單個容器日誌驅動設置爲—syslog
Linux 系統中 咱們用的系統日誌模塊時 rsyslog ，它是基於syslog 的標準實現。咱們要使用 syslog 驅動須要使用 系統自帶的 rsyslog 服務。
# 查看當前 rsyslog 版本和基本信息 [root@localhost harbor]# rsyslogd -v rsyslogd 8.24.0, compiled with: PLATFORM: x86_64-redhat-linux-gnu PLATFORM (lsb_release -d): FEATURE_REGEXP: Yes GSSAPI Kerberos 5 support: Yes FEATURE_DEBUG (debug build, slow code): No 32bit Atomic operations supported: Yes 64bit Atomic operations supported: Yes memory allocator: system default Runtime Instrumentation (slow code): No uuid support: Yes Number of Bits in RainerScript integers: 64 See http://www.rsyslog.com for more information.
配置 syslog , 在配置文件 /etc/rsyslog.conf 大約14-20行，咱們能夠看到兩個配置，一個udp，一個tcp ，都是監聽 514 端口，提供 syslog 的接收。選擇 tcp 就將 tcp 的兩個配置的前面 # 號註釋便可。
# Provides UDP syslog reception #$ModLoad imudp #$UDPServerRun 514 # Provides TCP syslog reception #$ModLoad imtcp #$InputTCPServerRun 514
而後重啓 rsyslog，咱們能夠看到514端口在監聽。
systemctl restart rsyslog [root@localhost harbor]# netstat -ntul |grep 514 tcp 0 0 0.0.0.0:514 0.0.0.0:* LISTEN tcp6 0 0 :::514 :::* LISTEN
啓動一個以 syslog 爲驅動的容器。
docker run -d -it -p 87:80 --log-driver syslog --log-opt syslog-address=tcp://127.0.0.1:514 --name nginx-syslog nginx
訪問並查看日誌
# 訪問nginx curl 127.0.0.1:87 # 查看訪問日誌 tail -f /var/log/messages May 17 15:56:48 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:56:48 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015 May 17 15:58:16 localhost fe18924aefde[6141]: 172.17.0.1 - - [17/May/2019:07:58:16 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"#015
日誌驅動 4、Journald
journald 日誌驅動程序將容器的日誌發送到 systemd journal, 可使用 journal API 或者使用 docker logs 來查日誌。
除了日誌自己之外， journald 日誌驅動還會在日誌加上下面的數據與消息一塊兒儲存。
Field
選項
journald 日誌驅動全局配置
編輯 /etc/docker/daemon.json 文件
{ "log-driver": "journald"}
單個容器日誌驅動設置爲—journald
docker run -d -it --log-driver=journald \ --log-opt labels=location \ --log-opt env=TEST \ --env "TEST=false" \ --label location=china \ --name nginx-journald\ -p 80:80\ nginx
查看日誌 journalctl
# 只查詢指定容器的相關消息 journalctl CONTAINER_NAME=webserver # -b 指定從上次啓動以來的全部消息 journalctl -b CONTAINER_NAME=webserver # -o 指定日誌消息格式，-o json 表示以json 格式返回日誌消息 journalctl -o json CONTAINER_NAME=webserver # -f 一直捕獲日誌輸出 journalctl -f CONTAINER_NAME=webserver
若是咱們的容器在啓動的時候加了 -t 參數，啓用了 TTY 的話，那麼我查看日誌是會像下面同樣
May 17 17:19:26 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]May 17 17:19:32 localhost.localdomain 2a338e4631fe[6141]: [104B blob data]顯示
[104B blob data]而不是完整日誌緣由是由於有\r的存在，若是咱們要完整顯示，須要加上參數--all。
3、 生產環境中該如何儲存容器中的日誌
咱們在上面看到了 Docker 官方提供了 不少日誌驅動，可是上面的這些驅動都是針對的 標準輸出的日誌驅動。
容器日誌分類
容器的日誌實際是有兩大類的：
-
標準輸出的 ，也就是 STDOUT 、STDERR ,這類日誌咱們能夠經過 Docker 官方的日誌驅動進行收集。
示例：Nginx 日誌，Nginx 日誌有
access.log和error.log，咱們在 Docker Hub 上能夠看到 Nginx 的 dockerfile 對於這兩個日誌的處理是：RUN ln -sf /dev/stdout /var/log/nginx/access.log \ && ln -sf /dev/stderr /var/log/nginx/error.log
都軟鏈接到
/dev/stdout和/dev/stderr，也就是標準輸出，因此這類 容器是可使用 Docker 官方的日誌驅動。 -
文本日誌，存在在於容器內部，並無重定向到 容器的標準輸出的日誌。
示例：Tomcat 日誌，Tomcat 有 catalina、localhost、manager、admin、host-manager，咱們能夠在 Docker Hub 看到 Tomcat 的 dockerfile 只有對於 catalina 進行處理，其它日誌將儲存在容器裏。
CMD ["catalina.sh", "run"]
咱們運行了一個 Tomcat 容器 ，而後進行訪問後，並登錄到容器內部，咱們能夠看到產生了文本日誌：
root@25ba00fdab97:/usr/local/tomcat/logs# ls -l total 16 -rw-r-----. 1 root root 6822 May 17 14:36 catalina.2019-05-17.log -rw-r-----. 1 root root 0 May 17 14:36 host-manager.2019-05-17.log -rw-r-----. 1 root root 459 May 17 14:36 localhost.2019-05-17.log -rw-r-----. 1 root root 1017 May 17 14:37 localhost_access_log.2019-05-17.txt -rw-r-----. 1 root root 0 May 17 14:36 manager.2019-05-17.log
這類容器咱們下面有專門的方案來應對。
1、當是徹底是標準輸出的類型的容器
咱們能夠選擇 json-file 、syslog、local 等 Docker 支持的日誌驅動。
2、當有文件文本日誌的類型容器
方案一 掛載目錄 bind
建立一個目錄，將目錄掛載到 容器中產生日誌的目錄。
--mount type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/
示例：
# 建立掛載目錄/opt/logs [root@fy-local-2 /]# mkdir /opt/logs # 建立容器tomcat-bind 並將 /opt/logs 掛載至 /usr/local/tomcat/logs/ [root@fy-local-2 /]# docker run -d --name tomcat-bind -P --mount type=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/ tomcat [root@fy-local-2 /]# ls -l /opt/logs/ total 12 -rw-r----- 1 root root 6820 May 22 17:31 catalina.2019-05-22.log -rw-r----- 1 root root 0 May 22 17:31 host-manager.2019-05-22.log -rw-r----- 1 root root 459 May 22 17:31 localhost.2019-05-22.log -rw-r----- 1 root root 0 May 22 17:31 localhost_access_log.2019-05-22.txt -rw-r----- 1 root root 0 May 22 17:31 manager.2019-05-22.log
方案二 使用數據卷 volume
建立數據卷，建立容器時綁定數據卷，
--mount type=volume src=volume_name dst=/usr/local/tomcat/logs/
示例：
# 建立tomcat應用數據卷名稱爲 tomcat [root@fy-local-2 /]# docker volume create tomcat # 建立容器tomcat-volume 並指定數據卷爲 tomcat，綁定至 /usr/local/tomcat/logs/ [root@fy-local-2 /]# docker run -d --name tomcat-volume -P --mount type=volume,src=tomcat,dst=/usr/local/tomcat/logs/ tomcat # 查看數據卷裏面的內容 [root@fy-local-2 /]# ls -l /var/lib/docker/volumes/tomcat/_data/ total 12 -rw-r----- 1 root root 6820 May 22 17:33 catalina.2019-05-22.log -rw-r----- 1 root root 0 May 22 17:33 host-manager.2019-05-22.log -rw-r----- 1 root root 459 May 22 17:33 localhost.2019-05-22.log -rw-r----- 1 root root 0 May 22 17:33 localhost_access_log.2019-05-22.txt -rw-r----- 1 root root 0 May 22 17:33 manager.2019-05-22.log
方案三 計算容器 rootfs 掛載點
此方案的文字內容摘抄於 https://yq.aliyun.com/article...
使用掛載宿主機目錄的方式採集日誌對應用會有必定的侵入性，由於它要求容器啓動的時候包含掛載命令。若是採集過程能對用戶透明那就太棒了。事實上，能夠經過計算容器 rootfs 掛載點來達到這種目的。
和容器 rootfs 掛載點密不可分的一個概念是 storage driver。實際使用過程當中，用戶每每會根據 linux 版本、文件系統類型、容器讀寫狀況等因素選擇合適的 storage driver。不一樣 storage driver 下，容器的 rootfs 掛載點遵循必定規律，所以咱們能夠根據 storage driver 的類型推斷出容器的 rootfs 掛載點，進而採集容器內部日誌。下表展現了部分 storage dirver 的 rootfs 掛載點及其計算方法。
示例：
# 建立容器 tomcat-test
[root@fy-local-2 /]# docker run -d --name tomcat-test -P tomcat
36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff
# 查看tomcat-test 容器的 掛載點位置
[root@fy-local-2 /]# docker inspect -f '{{.GraphDriver.Data.MergedDir}}' 36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff
/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
# 查看掛載點的目錄結構[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged
total 4
drwxr-xr-x 1 root root 179 May 8 13:05 bin
drwxr-xr-x 2 root root 6 Mar 28 17:12 boot
drwxr-xr-x 1 root root 43 May 22 17:27 dev
lrwxrwxrwx 1 root root 33 May 8 13:08 docker-java-home -> /usr/lib/jvm/java-8-openjdk-amd64
drwxr-xr-x 1 root root 66 May 22 17:27 etc
drwxr-xr-x 2 root root 6 Mar 28 17:12 home
drwxr-xr-x 1 root root 6 May 16 08:50 lib
drwxr-xr-x 2 root root 34 May 6 08:00 lib64
drwxr-xr-x 2 root root 6 May 6 08:00 media
drwxr-xr-x 2 root root 6 May 6 08:00 mnt
drwxr-xr-x 2 root root 6 May 6 08:00 opt
drwxr-xr-x 2 root root 6 Mar 28 17:12 proc
drwx------ 1 root root 27 May 22 17:29 root
drwxr-xr-x 3 root root 30 May 6 08:00 run
drwxr-xr-x 2 root root 4096 May 6 08:00 sbin
drwxr-xr-x 2 root root 6 May 6 08:00 srv
drwxr-xr-x 2 root root 6 Mar 28 17:12 sys
drwxrwxrwt 1 root root 29 May 16 08:50 tmp
drwxr-xr-x 1 root root 19 May 6 08:00 usr
drwxr-xr-x 1 root root 41 May 6 08:00 var
# 查看日誌
[root@fy-local-2 /]# ls -l /var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged/usr/local/tomcat/logs/
total 20
-rw-r----- 1 root root 14514 May 22 17:40 catalina.2019-05-22.log
-rw-r----- 1 root root 0 May 22 17:27 host-manager.2019-05-22.log
-rw-r----- 1 root root 1194 May 22 17:40 localhost.2019-05-22.log
-rw-r----- 1 root root 0 May 22 17:27 localhost_access_log.2019-05-22.txt
-rw-r----- 1 root root 0 May 22 17:27 manager.2019-05-22.log
方案四 在代碼層中實現直接將日誌寫入redis
docker ——》redis ——》Logstash——》Elasticsearch，經過代碼層面，直接將日誌寫入redis,最後寫入 Elasticsearch。
以上就是對 Docker 日誌的全部的概念解釋和方提供，具體採用什麼方案，根據公司的具體的業務來選擇。合適的纔是最好的。
- 1. 公司使用graylog來收集Docker日誌
- 2. 日誌管理及同步
- 3. 玩轉Nodejs日誌管理log4js
- 4. 玩轉Nodejs日誌管理log4js(轉)
- 5. Docker 日誌管理之 Docker logs
- 6. 日誌管理
- 7. 日誌的管理
- 8. 公司來了個新同事不會用 Lombok，還說我代碼有問題！
- 9. 公司來了個新同事不會用 Lombok，還說我代碼有問題
- 10. Java中的日誌管理
- 更多相關文章...
- • Docker 倉庫管理 - Docker教程
- • Swarm 集羣管理 - Docker教程
- • Docker 清理命令
- • 互聯網組織的未來：剖析GitHub員工的任性之源
-
每一个你不满意的现在，都有一个你没有努力的曾经。