解決overlay2存儲驅動的磁盤配額問題

爲啥要用overlay2

docker centos（內核3.10）上默認存儲驅動是devicemapper 的loop-lvm模式，這種模式是用文件模擬塊設備，不推薦生產使用direct lvm又不是一個開箱即用的模式，懶得配置,最關鍵的是 docker in docker的狀況下 device mapper是行不通的，典型的場景就是用drone時，構建docker鏡像就不能正常工做,overlay存儲驅動層數過多時會致使文件連接數過多可能會耗盡inode,因此當前overlay2是個比較好的選擇。

內核

你須要一個高版本的內核推薦4.9以上，咱們用的是4.14，若是使用低內核可能你一些FROM別的基礎鏡像就跑不了，如用overlay2在centos系統上跑FROM ubuntu的鏡像（不是必現）。

咱們這裏提供了一個免費的內核rpm包 這個在咱們生產環境跑了將近一年沒出任何問題。

監控

overlay2若是不作一些特殊操做，cadvisor是監控不到容器內實際使用多少磁盤的，通過xfs和配額配置才能正常監控到

使用xfs文件系統

不使用xfs就沒法作到給每一個容器限制10G的大小，就可能出現一個容器的誤操做致使把機器盤全佔完,咱們使用了lvm去弄個分區出來作xfs文件系統，固然你也能夠不用lvm。

if which lvs &>/dev/null; then
  echo ""; echo -e "Remove last docker lv and mount ......"
  lvremove k8s/docker -y
  lvcreate -y -n docker k8s -L 100G
  mkfs.xfs -n ftype=1 -f /dev/mapper/k8s-docker
  mkdir -p /var/lib/docker
  mount -o pquota,uqnoenforce /dev/mapper/k8s-docker /var/lib/docker
  echo -e "/dev/mapper/k8s-docker                                  /var/lib/docker         xfs     defaults,pquota        0 0" >> /etc/fstab
fi

配置使用overlay2

# cat /etc/docker/daemon.json
{
  "storage-opts": [
    "overlay2.override_kernel_check=true",
    "overlay2.size=10G"
  ],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m"
  }
}

systemctl daemon-reload systemctl restart docker

這樣就能夠把每一個容器磁盤大小限制在10G了