Docker實踐(3)—淺析device mapper的thin provision

thin provision是在 kernel3.2 中引入的。它主要有如下一些特色：

（1）容許多個虛擬設備存儲在相同的數據卷中，從而達到共享數據，節省空間的目的；

（2）支持任意深度的快照。以前的實現的性能爲O(n)，新的實現經過一個單獨的數據避免了性能隨快照深度的增長而下降。

（3）支持元數據存儲到單獨的設備上。這樣就能夠將元數據放到鏡像設備或者更快的SSD上。

上面3個特性正是devicemapper支持docker存儲鏡像的關鍵特性。

 

使用lvm管理thin provisioning

# dd if=/dev/zero of=lvm0.img bs=1024k count=256

# losetup /dev/loop7 lvm0.img

# losetup -a

/dev/loop0: [fd00]:786725 (/dev/loop0)

/dev/loop1: [fd00]:786726 (/dev/loop1)

/dev/loop7: [fd00]:420986 (/root/lvm/lvm0.img)

 

# pvcreate /dev/loop7

  Physical volume "/dev/loop7" successfully created

# vgcreate vg_test /dev/loop7

  Volume group "vg_test" successfully created

 

在volume group中建立一個thin pool，大小爲200M：

# lvcreate -L 200M -T vg_test/mythinpool

  Logical volume "lvol0" created

  Logical volume "mythinpool" created

 

# ls /dev/mapper/* |grep mythin

/dev/mapper/vg_test-mythinpool

/dev/mapper/vg_test-mythinpool_tdata

/dev/mapper/vg_test-mythinpool_tmeta

/dev/mapper/vg_test-mythinpool-tpool

 

建立thin logical volume：

# lvcreate -T vg_test/mythinpool -V 300M -n lvol1

  Logical volume "lvol1" created

雖然thin pool只有200M，卻能夠建立300M的邏輯卷。

# lvs

  LV         VG      Attr       LSize   Pool       Origin Data%  Move Log Cpy%Sync Convert

  lvol1      vg_test Vwi-a-tz-- 300.00m mythinpool          0.00                          

  mythinpool vg_test twi-a-tz-- 200.00m                     0.00     

 

建立快照：

# lvcreate -s --name mysnapshot1 vg_test/lvol1

  Logical volume "mysnapshot1" created

 

使用dmsetup管理thin provisioning

建立thin pool

    dmsetup create pool \

       --table "0 20971520 thin-pool $metadata_dev $data_dev \

               $data_block_size $low_water_mark"

 

# dmsetup create yy_thin_pool --table '0 409600 thin-pool /dev/loop6 /dev/loop7 128 0'

# dmsetup table /dev/mapper/yy_thin_pool

0 409600 thin-pool 7:6 7:7 128 0 0

# dmsetup remove yy_thin_pool

 

建立thinly-provisioned volume

首先，必須發送消息給pool：

dmsetup message /dev/mapper/yy_thin_pool 0 "create_thin 0"

這裏的」0」是卷標識符，24位的數字，由調用者進行分配，若是已經存，會返回-EEXIST錯誤。

 

使用thinly-provisioned volume

建立一個20M大小的volume

dmsetup create thin --table "0 40960 thin /dev/mapper/yy_thin_pool 0"

# dmsetup table /dev/mapper/thin

0 40960 thin 253:3 0

#mkfs.ext4 /dev/mapper/thin

#mount /dev/mapper/thin /mnt/share1

/dev/mapper/thin       20M  1.2M   18M   7% /mnt/share1

 

Internal snapshots

建立快照

對一個active的卷建立快照，先要suspend volume。

dmsetup suspend /dev/mapper/thin

dmsetup message /dev/mapper/yy_thin_pool 0 "create_snap 1 0"

dmsetup resume /dev/mapper/thin

dmsetup create snap --table "0 40960 thin /dev/mapper/yy_thin_pool 1"

紅色部分是快照的名稱。

 

刪除volume

dmsetup remove thin

dmsetup message /dev/mapper/yy_thin_pool 0 "delete 0"

 

docker的結構

docker內部的存儲結構大概以下：

docker在初始化過程當中，會建立一個100G的用於存儲數據，和一個2G的用於存儲元數據的稀疏文件，而後分別附加到迴環塊設備/dev/loop0和/dev/loop1。而後基於迴環塊設備建立thin pool。

 

 

docker在建立image，會將image的信息(struct DevInfo)寫到文件/var/lib/docker/devicemapper/metadata/$id，參考函數(devices *DeviceSet) registerDevice。

 

主要參考

［1]https://www.kernel.org/doc/Documentation/device-mapper/thin-provisioning.txt

做者：YY哥 
出處：http://www.cnblogs.com/hustcat/ 本文版權歸做者和博客園共有，歡迎轉載，但未經做者贊成必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接，不然保留追究法律責任的權利。