理解Docker（7）：Docker 存儲 - AUFS

（1）Docker 安裝及基本用法

（2）Docker 鏡像

（3）Docker 容器的隔離性 - 使用 Linux namespace 隔離容器的運行環境

（4）Docker 容器的隔離性 - 使用 cgroups 限制容器使用的資源

（5）Docker 網絡

（6）若干企業生產環境中的容器網絡方案

（7）Docker 存儲 - AUFS

 

  Docker 存儲能夠分爲分層文件系統和卷，本文將介紹 AUFS 分層文件系統。

1. 基礎知識

1.1 Linux 的 rootfs 和 bootfs

  一個典型的 Linux 系統要能運行的話，它至少須要兩個文件系統：

• boot file system （bootfs）：包含 boot loader 和 kernel。用戶不會修改這個文件系統。實際上，在啓動（boot）過程完成後，整個內核都會被加載進內存，此時 bootfs 會被卸載掉從而釋放出所佔用的內存。同時也能夠看出，對於一樣內核版本的不一樣的 Linux 發行版的 bootfs 都是一致的。
• root file system （rootfs）：包含典型的目錄結構，包括 /dev, /proc, /bin, /etc, /lib, /usr, and /tmp 等再加上要運行用戶應用所須要的全部配置文件，二進制文件和庫文件。這個文件系統在不一樣的Linux 發行版中是不一樣的。並且用戶能夠對這個文件進行修改。

Linux 系統在啓動時，roofs 首先會被掛載爲只讀模式，而後在啓動完成後被修改成讀寫模式，隨後它們就能夠被修改了。

1.2 AUFS

 AUFS 是一種 Union File System（聯合文件系統），又叫 Another UnionFS，後來叫Alternative UnionFS，再後來叫成高大上的 Advance UnionFS。所謂 UnionFS，就是把不一樣物理位置的目錄合併mount到同一個目錄中。UnionFS的一個最主要的應用是，把一張CD/DVD和一個硬盤目錄給聯合 mount在一塊兒，而後，你就能夠對這個只讀的CD/DVD上的文件進行修改（固然，修改的文件存於硬盤上的目錄裏）。

  舉個例子，在 Ubuntu 14.04 系統上現有以下目錄結構：

$ tree
.
├── fruits
│   ├── apple
│   └── tomato
└── vegetables
    ├── carrots
    └── tomato

輸入如下幾個命令：

# 建立一個mount目錄
$ mkdir mnt
 
# 把水果目錄和蔬菜目錄union mount到 ./mnt目錄中
$ sudo mount -t aufs -o dirs=./fruits:./vegetables none ./mnt
 
#  查看./mnt目錄
$ tree ./mnt
./mnt
├── apple
├── carrots
└── tomato

咱們能夠看到在./mnt目錄下有三個文件，蘋果apple、胡蘿蔔carrots和蕃茄tomato。水果和蔬菜的目錄被union到了./mnt目錄下了。

咱們來修改一下其中的文件內容：

$ echo mnt > ./mnt/apple
$ cat ./mnt/apple
mnt
$ cat ./fruits/apple
mnt

上面的示例，咱們能夠看到./mnt/apple的內容改了，./fruits/apple的內容也改了。

$ echo mnt_carrots > ./mnt/carrots
$ cat ./vegetables/carrots
 
$ cat ./fruits/carrots
mnt_carrots

關於 AUFS 的幾個特色：

• AUFS 是一種聯合文件系統，它把若干目錄按照順序和權限 mount 爲一個目錄並呈現出來
• 默認狀況下，只有第一層（第一個目錄）是可寫的，其他層是隻讀的。
• 增長文件：默認狀況下，新增的文件都會被放在最上面的可寫層中。
• 刪除文件：由於底下各層都是隻讀的，當須要刪除這些層中的文件時，AUFS 使用 whiteout 機制，它的實現是經過在上層的可寫的目錄下創建對應的whiteout隱藏文件來實現的。
• 修改文件：AUFS 利用其 CoW （copy-on-write）特性來修改只讀層中的文件。AUFS 工做在文件層面，所以，只要有對只讀層中的文件作修改，無論修改數據的量的多少，在第一次修改時，文件都會被拷貝到可寫層而後再被修改。
• 節省空間：AUFS 的 CoW 特性可以容許在多個容器之間共享分層，從而減小物理空間佔用。
• 查找文件：AUFS 的查找性能在層數很是多時會出現降低，層數越多，查找性能越低，所以，在製做 Docker 鏡像時要注意層數不要太多。
• 性能：AUFS 的 CoW 特性在寫入大型文件時第一次會出現延遲。

本部份內容主要應用自 Docker基礎技術：AUFS。 

2. Docker 文件系統

2.1 Docker 鏡像的 rootfs

  前面基礎知識部分談到過，同一個內核版本的全部 Linux 系統的 bootfs 是相同的，而 rootfs 則是不一樣的。在 Docker 中，基礎鏡像中的 roofs 會一直保持只讀模式，Docker 會利用 union mount 來在這個 rootfs 上增長更多的只讀文件系統，最後它們看起來就像一個文件系統即容器的 rootfs。

 （圖片來源）

可見在一個Linux 系統之中，

• 全部 Docker 容器都共享主機系統的 bootfs 即 Linux 內核
• 每一個容器有本身的 rootfs，它來自不一樣的 Linux 發行版的基礎鏡像，包括 Ubuntu，Debian 和 SUSE 等
• 全部基於一種基礎鏡像的容器都共享這種 rootfs

以 training/webapp 鏡像爲例，

root@docker1:/var/lib/docker/aufs/diff/b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa# docker history training/webapp
IMAGE               CREATED             CREATED BY                                      SIZE                COMMENT
6fae60ef3446        16 months ago       /bin/sh -c #(nop) CMD ["python" "app.py"]       0 B
<missing>           16 months ago       /bin/sh -c #(nop) EXPOSE 5000/tcp               0 B
<missing>           16 months ago       /bin/sh -c #(nop) WORKDIR /opt/webapp           0 B
<missing>           16 months ago       /bin/sh -c #(nop) ADD dir:9b2a69f6f30d18b02b5   703 B
<missing>           16 months ago       /bin/sh -c pip install -qr /tmp/requirements.   4.363 MB
<missing>           16 months ago       /bin/sh -c #(nop) ADD file:c59059439864153904   41 B
<missing>           16 months ago       /bin/sh -c DEBIAN_FRONTEND=noninteractive apt   135.3 MB
<missing>           16 months ago       /bin/sh -c apt-get update                       20.8 MB
<missing>           16 months ago       /bin/sh -c #(nop) MAINTAINER Docker Education   0 B
<missing>           17 months ago       /bin/sh -c #(nop) CMD ["/bin/bash"]             0 B
<missing>           17 months ago       /bin/sh -c sed -i 's/^#\s*\(deb.*universe\)$/   1.895 kB
<missing>           17 months ago       /bin/sh -c echo '#!/bin/sh' > /usr/sbin/polic   194.5 kB
<missing>           17 months ago       /bin/sh -c #(nop) ADD file:f4d7b4b3402b5c53f2   188.1 MB

它是基於 Ubuntu Docker 基礎鏡像。在基礎鏡像層中，咱們能看到完整的 Ubuntu rootfs：

root@docker1:/var/lib/docker/aufs/diff/b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa# ls -l
total 76
drwxr-xr-x  2 root root 4096 Apr 27  2015 bin
drwxr-xr-x  2 root root 4096 Apr 11  2014 boot
drwxr-xr-x  3 root root 4096 Apr 27  2015 dev
drwxr-xr-x 61 root root 4096 Apr 27  2015 etc
drwxr-xr-x  2 root root 4096 Apr 11  2014 home
drwxr-xr-x 12 root root 4096 Apr 27  2015 lib
drwxr-xr-x  2 root root 4096 Apr 27  2015 lib64
drwxr-xr-x  2 root root 4096 Apr 27  2015 media
drwxr-xr-x  2 root root 4096 Apr 11  2014 mnt
drwxr-xr-x  2 root root 4096 Apr 27  2015 opt
drwxr-xr-x  2 root root 4096 Apr 11  2014 proc
drwx------  2 root root 4096 Apr 27  2015 root
drwxr-xr-x  7 root root 4096 Apr 27  2015 run
drwxr-xr-x  2 root root 4096 Apr 27  2015 sbin
drwxr-xr-x  2 root root 4096 Apr 27  2015 srv
drwxr-xr-x  2 root root 4096 Mar 13  2014 sys
drwxrwxrwt  2 root root 4096 Apr 27  2015 tmp
drwxr-xr-x 10 root root 4096 Apr 27  2015 usr
drwxr-xr-x 11 root root 4096 Apr 27  2015 var

咱們來看兩種典型的文件：

（1）bin 目錄中的文件會被直接使用

root@docker1:/var/lib/docker/aufs/diff# find -iname mountpoint
./b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa/bin/mountpoint

（2）在基礎鏡像層中 proc 目錄爲空，也就是說容器中看到的 proc 目錄中的文件是後來生成的。

2.2 Docker 使用的 AUFS 文件系統

  關於 Docker的分層鏡像，除了 aufs，docker還支持btrfs, devicemapper和vfs，你可使用 -s 或 –storage-driver= 選項來指定相關的鏡像存儲。在Ubuntu 14.04下，Docker 默認 Ubuntu的 AUFS。由於 AUFS 尚未進入Linux 內核主幹的緣由，RedHat 上使用的是 devicemapper。

  咱們能夠在 docker info 命令的輸出中查看所使用的存儲驅動：

Storage Driver: aufs
 Root Dir: /var/lib/docker/aufs
 Backing Filesystem: extfs
 Dirs: 19
 Dirperm1 Supported: false

以一個正在運行着的 Docker 容器爲例，其鏡像有13層：

"RootFS": {
            "Type": "layers",
            "Layers": [
                "sha256:1154ba695078d29ea6c4e1adb55c463959cd77509adf09710e2315827d66271a",
                "sha256:528c8710fd95f61d40b8bb8a549fa8dfa737d9b9c7c7b2ae55f745c972dddacd",
                "sha256:37ee47034d9b78f10f0c5ce3a25e6b6e58997fcadaf5f896c603a10c5f35fb31",
                "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
                "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
                "sha256:b75c0703b86b8ccbdc1f1b28b4982774768861ac250f83bdb940b1e90291f302",
                "sha256:5c121779bb29172c628a21087ea8ced766959da2f223c8b6bd4ffe943ace43d8",
                "sha256:3ee91c5cb95b01496b4afdc721ba7fd3c22e0e5e2f3e9e70d3f8579b5082d4f3",
                "sha256:6bbb1d0f845289217e20b66697fa7d651394d89983b0f5a89b88f037194476fe",
                "sha256:b44b0832d4c6bf33122ce3aa896b133df88275e6d20663a9bf2d941f764ac1fd",
                "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
                "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef",
                "sha256:5f70bf18a086007016e948b04aed3b82103a36bea41755b6cddfaf10ace3c6ef"
            ]
        }

從 AUFS 的角度，能夠看到有一個可寫的容器層和14個只讀的鏡像層：

root@docker1:/sys/fs/aufs/si_ab487e40195df24f# cat *
/var/lib/docker/aufs/diff/2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab=rw           #可寫的容器層
/var/lib/docker/aufs/diff/2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab-init=ro+wh   #本層及如下是隻讀的鏡像層
/var/lib/docker/aufs/diff/5472f8388f9a61f6bd84498201a5ad71a2ec88cda16c42a3a1da7c30da45f102=ro+wh
/var/lib/docker/aufs/diff/61dcf0881e790bf52ec555727b58641791adeefadcc7abc2a77fd228bde1371a=ro+wh
/var/lib/docker/aufs/diff/f68672aaf17dd158aabc635b2d8d459d79db1cd5ff38bf3834fe8f9c7a05235e=ro+wh
/var/lib/docker/aufs/diff/45818d286499870412357d66eb6af951699f89db785c7c6a242d2e1ac99734f9=ro+wh
/var/lib/docker/aufs/diff/b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa=ro+wh
/var/lib/docker/aufs/diff/85cb840562788e1b458e68265e62fd2da9d0d7e737256500e8a276bcb237183c=ro+wh
/var/lib/docker/aufs/diff/c18ba8efcb455e97f6aabe3985b147f6a37b8f5ad090373e88ddd326b4f90896=ro+wh
/var/lib/docker/aufs/diff/25de7dcc3a06f0caa3c701d4ed6c62f03e0757f6d477cc822db6e884bb366441=ro+wh
/var/lib/docker/aufs/diff/ad9e831217594cdfecd5e824690b0e52f2e16d6e2bb39b7143e66d467150cfe8=ro+wh
/var/lib/docker/aufs/diff/56d37c8eecd8be9ba13e07e1486e7a6ac2f0aa01f8e865ee6136137369d8d8a0=ro+wh
/var/lib/docker/aufs/diff/31bc6290457af4e560a3103020c85fbb5dfcfb201b0662a33165260529f87c07=ro+wh
/var/lib/docker/aufs/diff/e104672666119006648d0b82988c49527e52c64629750c5c9adde88acc790682=ro+wh
/var/lib/docker/aufs/diff/7a085e415855435121fb7837c26a5e951f622bc69364d9228d409a4929b627e1=ro+wh

根據上面 AUFS 的定義，容器的文件系統是從 14 個只讀鏡像層和1個可寫容器層經過 AUFS mount 出來的。示意圖以下：

（圖片來源）

這種分層文件系統能夠經過官網的圖來清晰的展現出來：

作一些實驗：

（1）在容器中建立一個文件，該文件會被建立在可寫的容器層中

root@docker1:/var/lib/docker/aufs/diff# find -iname createdbysammy
./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/opt/webapp/createdbysammy
root@docker1:/var/lib/docker/aufs/diff# ls -lt
total 60
drwxr-xr-x  9 root root 4096 Oct  4 22:37 2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab
drwxr-xr-x  6 root root 4096 Oct  1 11:56 2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab-init

（2）修改一個鏡像層中的文件

修改前，文件 /etc/apt/sources.list 出如今兩個層中：

root@docker1:/var/lib/docker/aufs/diff# find -iname sources.list
./f68672aaf17dd158aabc635b2d8d459d79db1cd5ff38bf3834fe8f9c7a05235e/etc/apt/sources.list
./b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa/etc/apt/sources.list

在容器中對它進行修改後，它被拷貝到了容器層而後被修改了：

root@docker1:/var/lib/docker/aufs/diff# find -iname sources.list
./f68672aaf17dd158aabc635b2d8d459d79db1cd5ff38bf3834fe8f9c7a05235e/etc/apt/sources.list
./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/etc/apt/sources.list
./b2188d5c09cfe24acd6da5ce67720f81138f0c605a25efc592f1f55b3fd3dffa/etc/apt/sources.list

而另外兩個層中的文件保持了不變。這說明了 AUFS 的 CoW 特性。

（3）刪除容器層中的文件

容器中的文件 ./usr/local/lib/python2.7/dist-packages/itsdangerous.py 位於 56d37c8eecd8be9ba13e07e1486e7a6ac2f0aa01f8e865ee6136137369d8d8a0 層中，這是一個只讀層。

在容器內刪除它：

root@fa385836d5b9:/# find -iname itsdangerous.py
./usr/local/lib/python2.7/dist-packages/itsdangerous.py
root@fa385836d5b9:/# rm ./usr/local/lib/python2.7/dist-packages/itsdangerous.py
root@fa385836d5b9:/# find -iname itsdangerous.py

而後，容器層中出現了一個 .wh 文件，而鏡像層中的文件保持不變：

root@docker1:/var/lib/docker/aufs/diff# find -iname *itsdangerous.py
./56d37c8eecd8be9ba13e07e1486e7a6ac2f0aa01f8e865ee6136137369d8d8a0/usr/local/lib/python2.7/dist-packages/itsdangerous.py
./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/usr/local/lib/python2.7/dist-packages/.wh.itsdangerous.py

在手工將 .wh 文件刪除後，文件就會再次回到容器中。

 rm ./2ee58d81e4ac6811bbc78beb4b46bf213c79c9e2dc7e441741afc8c4349c6bab/usr/local/lib/python2.7/dist-packages/.wh.itsdangerous.py

root@fa385836d5b9:/# find -iname itsdangerous.py
./usr/local/lib/python2.7/dist-packages/itsdangerous.py

 

參考連接：

• Docker基礎技術：AUFS
• http://crishantha.com/wp/?p=1549