詳細分析du和df的統計結果爲何不同

今天有我的問我du和df的統計結果爲何會不一樣。給他解析了一番，後來想一想仍是寫篇文章從原理上來分析分析。

咱們經常使用du和df來獲取目錄或文件系統已佔用空間的狀況。但它們的統計結果是不一致的，大多數時候，它們的結果相差不會很大，但有時候它們的統計結果會相差很是大。

例如：

##### df的統計結果
[root@xuexi ~]# df -hT 
Filesystem          Type   Size  Used Avail Use% Mounted on
/dev/sda2           ext4    18G  1.7G   15G  11% /
tmpfs               tmpfs  491M     0  491M   0% /dev/shm
/dev/sda1           ext4   239M   68M  159M  30% /boot
//192.168.0.124/win cifs 381G 243G 138G 64% /mnt

##### du對根目錄的統計結果
[root@xuexi ~]# du -sh / 2>/dev/null
244G    /

df中"/"的使用空間是1.7G，可是du的結果倒是244G。這裏du的統計結果大於df。

再看看對/boot分區的統計結果。

[root@xuexi ~]# df -hT /boot;echo;du -sh /boot
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sda1      ext4  239M   68M  159M  30% /boot

66M     /boot

du的結果是66M，df的結果是68M，相差不大，但df的結果大於du。

1.文件存儲和刪除的底層過程

這裏簡單說明下文件系統相關的底層機制，詳細的內容參見：ext文件系統機制。

首先說明下文件是怎麼存儲到文件系統中的。假如要存儲a.txt到/tmp目錄下。

當a.txt文件要存儲到/tmp下時：

• (1).首先從inode table中找一個空閒的inode號分配給a.txt，例如2222。再將inode map(imap)中2222這個inode號標記爲已使用。
• (2).在/tmp的data block中添加一條a.txt文件的記錄。該記錄中包括一個指向inode號的指針，例如"0x2222"。
• (3).而後從block map(bmap)中找出空閒的data block，並開始將a.txt中的數據寫入到data block中。每寫一段空間(ext4每次分配一段空間)就從bmap中找一次空閒的data block，直到存完全部數據。
• (4).設置inode table中關於2222這條記錄的data block指針，經過該指針能夠找到a.txt使用了哪些data block。

當要刪除a.txt文件時：

• (1).在inode table中刪除指向a.txt的data block指針。這裏只要一刪除，外界就找不到a.txt的數據了。可是這個文件還存在，只是它是被"損壞"的文件，由於沒有任何指針指向數據塊。
• (2).在imap中將2222的inode號標記爲未使用。因而這個inode號就被釋放，能夠被後續的文件重用。
• (3).刪除父目錄/tmp的data block中關於a.txt的記錄。這裏只要一刪除，外界就看不到也找不到這個文件了。
• (4).在bmap中將a.txt佔用的block標記爲未使用。這裏被標記爲未使用後，這些data block就能夠被後續文件覆蓋重用。

考慮一種狀況，當一個文件被刪除時，但此時還有進程在使用這個文件，這時是怎樣的狀況呢？外界是看不到也找不到這個文件的，因此刪除的過程已經進行到了第(3)步。但進程還在使用這個文件的數據，也能找到這個文件的數據，是由於進程在加載這個文件的時候就已經獲取到了該文件佔用哪些data block，雖然刪除了文件，但bmap中這些data block尚未標記爲未使用。

2.du統計的原理

du是經過stat命令來統計每一個文件(包括子目錄)的空間佔用總和。由於會對每一個涉及到的文件使用stat命令，因此速度較慢。

1.若是統計目錄下掛載了其餘文件系統，那麼也會對這個文件系統進行統計。

例如"du -sh /"的時候，會統計全部分區的文件，包括掛載上來的。正如本文開頭統計的"/"同樣，du的結果是244G，明顯比df統計的結果大，就是由於將某個分區掛載到了/mnt目錄下。

##### df的統計結果
[root@xuexi ~]# df -hT 
Filesystem          Type   Size  Used Avail Use% Mounted on
/dev/sda2           ext4    18G  1.7G   15G  11% /
tmpfs               tmpfs  491M     0  491M   0% /dev/shm
/dev/sda1           ext4   239M   68M  159M  30% /boot
//192.168.0.124/win cifs 381G 243G 138G 64% /mnt

##### du對根目錄的統計結果
[root@xuexi ~]# du -sh / 2>/dev/null
244G    /

2.若是文件被刪除，即便被其餘進程引用了，du命令也沒法對其統計。由於stat命令找不到這個文件。

3.能夠跨分區統計某些你想統計的文件大小總和。由於它們都能被stat找到並統計。

例如：

統計Linux下全部img文件的大小。

[root@xuexi ~]# find / -type f -name "*.img" -print0 | xargs -0 du -csh 
19M     /boot/initramfs-2.6.32-504.el6.x86_64.img
13M     /mnt/linux工具/cirros-0.3.4-x86_64-disk.img
31M     total

這裏統計的兩個img文件就是在不一樣分區內的。

3.df統計的原理

df是讀取每一個分區的superblock來獲取空閒數據塊、已使用數據塊，從而計算出空閒空間和已使用空間，所以df統計的速度極快(superblock才佔用1024字節)。

1.當某個文件系統下掛載了其餘分區，df不會把這個分區也統計進去。

這很容易理解，由於df讀取的是各自分區的superblock，即便分區1掛載在分區0的目錄下，df統計分區0的時候，也只能讀取分區0的superblock。

例如，下面的/mnt、/boot都沒有統計在"/"中。

[root@xuexi ~]# df -hT 
Filesystem          Type   Size  Used Avail Use% Mounted on
/dev/sda2 ext4 18G 1.7G 15G 11% /
tmpfs               tmpfs  491M     0  491M   0% /dev/shm
/dev/sda1           ext4   239M   68M  159M  30% /boot
//192.168.0.124/win cifs   381G  243G  138G  64% /mnt

2.因爲df每次統計都是讀取superblock，因此df對文件系統中的某個文件進行統計時，會自動轉爲統計這個文件系統的信息。

[root@xuexi ~]# df -hT /etc/fstab
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sda2 ext4 18G 1.7G 15G 11% /

3.df會統計已刪除但卻仍有進程引用的文件。

正常狀況下，刪除文件會馬上釋放相關指針，並將imap和bmap中相關的位圖標記爲未使用。bmap只要一改變，文件系統馬上就能知道每一個塊組中哪些數據塊是空閒的，哪些數據塊是被使用的，這些信息都會更新到分區的superblock中。因而df能馬上統計到實時的空間信息。

可是當一個文件被刪除時，若是還有進程在引用這個文件，根據前文的分析，bmap中不會將這個文件的data block標記爲未使用，也就不會將數據塊的使用狀況更新到superblock中。因爲df是根據superblock中空閒和使用數據塊的數量來計算空閒空間和已使用空間的，因此df統計的時候會將這個已被"刪除"的文件統計到已使用空間中。

例如，建立一個較大一點的文件放在"/"目錄下，並du和df統計根目錄的已使用空間。

[root@xuexi ~]# dd if=/dev/zero of=/my.iso bs=1M count=1000

[root@xuexi ~]# df -hT /
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sda2 ext4 18G 2.7G 14G 17% /

[root@xuexi ~]# du -sh --exclude="/mnt" / 2>/dev/null
2.7G    /

它們在GB級的單位上是相等的。

如今使用一個進程來引用這個文件，而後刪除這個文件，再du和df統計。

[root@xuexi ~]# tail -f /my.iso &

[root@xuexi ~]# rm -rf /my.iso 
[root@xuexi ~]# ls /my.iso
ls: cannot access /my.iso: No such file or directory

[root@xuexi ~]# du -sh --exclude="/mnt" / 2>/dev/null
1.8G    /

[root@xuexi ~]# df -hT /
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sda2 ext4 18G 2.7G 14G 17% /

能夠發現，外界已經獲取不到my.iso文件了，因此du沒法統計這個文件。而df卻將該文件大小統計進去了，由於my.iso佔用的data block還未被標記爲未使用。

再關掉tail進程，而後df再統計空間，結果將和du同樣顯示爲正常的大小。

[root@xuexi ~]# jobs
[1]+  Running                 tail -f /my.iso &
[root@xuexi ~]# kill %1

[root@xuexi ~]# df -hT /
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sda2 ext4 18G 1.7G 15G 11% /

若是不知道文件系統中哪些已被刪除，但卻還被進程引用的文件，可使用lsof來獲取。經過它還能獲取到文件的大小，看看究竟是哪一個文件在"佔着茅坑以及佔了多少茅坑"。

例如，關掉tail進程前，使用lsof查看。能夠看到tail進程佔用了/my.iso，且這個文件的大小爲1048576000字節。

[root@xuexi ~]# lsof | grep deleted 
php-fpm   12597      root  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)
php-fpm   12657    nobody  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)
php-fpm   12707    nobody  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)
php-fpm   12708    nobody  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)
tail      14437      root    3r    REG   8,2 1048576000     7171 /my.iso (deleted)

通過上面的分析，想必對du和df的結果不會再有任何疑惑了吧。