索引節點(inode)爆滿問題處理

 

關於磁盤空間中索引節點爆滿的問題仍是挺多的，藉此跟你們分享幾個狀況：

狀況一

在公司一臺配置較低的Linux服務器（內存、硬盤比較小）的/data分區內建立文件時，系統提示磁盤空間不足，用df -h命令查看了一下磁盤使用狀況，發現/data分區只使用了66%，還有12G的剩餘空間，按理說不會出現這種問題。

後來用df -i查看了一下/data分區的索引節點(inode)，發現已經用滿(IUsed=100%)，致使系統沒法建立新目錄和文件。
[root@bastion-IDC ~]# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
.......
.......
/dev/mapper/VolGroup-lv_home
53452800 53452800 0 100% /data

inode譯成中文就是索引節點，每一個存儲設備（例如硬盤）或存儲設備的分區被格式化爲文件系統後，應該有兩部份，一部份是inode，另外一部份是Block，Block是用來存儲數據用的。而inode呢，就是用來存儲這些數據的信息，這些信息包括文件大小、屬主、歸屬的用戶組、讀寫權限等。inode爲每一個文件進行信息索引，因此就有了inode的數值。操做系統根據指令，能經過inode值最快的找到相對應的文件。

這臺服務器的Block雖然還有剩餘，但inode已經用滿，所以在建立新目錄或文件時，系統提示磁盤空間不足。

排查是因爲/data/cache目錄中存在數量很是多的小字節緩存文件，佔用的Block很少，可是佔用了大量的inode。

解決方案：
1）刪除/data/cache目錄中的部分文件，釋放出/data分區的一部分inode，特別要留意那些spool出來的文件，這種文件通常會佔用比較多的節點，由於比較小並且零碎，同時要多留意日誌文件信息等

2）用軟鏈接將空閒分區/opt中的newcache目錄鏈接到/data/cache，使用/opt分區的inode來緩解/data分區inode不足的問題：
# ln -s /opt/newcache /data/cache

3）更換服務器，用高配置的服務器替換低配置的服務器。

狀況二

問題：使用"df -h"命令發現磁盤使用率沒有佔滿，可是沒法寫入文件，提示"no space left on device"!
緣由：磁盤的inode節點使用爆滿了！（"df -i"命令查看/var空間的inode爆滿）。

-------------------------------------------------------------------------------
可能緣由1：
crontab裏面定時執行的句子裏沒有加 > /dev/null 2>&1,系統中cron執行的程序有輸出內容，
輸出內容會以郵件形式發給cron的用戶，而sendmail沒有啓動因此就產生了很大零碎的文件：
crontab的job有問題,形成/var/spool/clientmqueue中產生許多的零碎文件。

處理方法：
用"rm -rf *"會不能刪除，並會有相應的提示，大意是參數太多。

正確方法：
在/var/spool/clientmqueue/下執行命令：
# lsattr ./|awk -F"/" '{print $3}'|xargs -i rm -rf {}

表示用lsattr列出./下面的文件名的屬性，用awk取出名字，而後rm -rf

還有一個比較靠譜的方法：
# find /var/spool/clientmqueue/ -type f -exec rm {} \;

或者在/var/spool/clientmqueue/目錄下
# cd /var/spool/clientmqueue/
# find ./ -exec rm {} \;

將crontab中沒有定向輸出的行都在最後加上"> /dev/null 2>&1"，在刪除的過程當中操做。
或者先中止crontab，加上重定向。
--------------------------------------------------------------------------------
可能緣由2
能夠看下日誌文件是否太多，若是是日誌文件佔用大量的inodes能夠臨時釋放清理下過時的日誌。
也能夠根據較大目錄的文件佔用狀況，臨時轉移部分文件到佔用磁盤較小的目錄中。

其餘總結

===================================================
當發現某個分區下的inode使用率過大時，須要找到該分區下的某些目錄裏有哪些文件能夠清理。
查找某個目錄下一個月或兩個月以前的文件，而後刪除
# find . -type f -mtime +30 |wc -l
# find . -type f -mtime +60 |wc -l
# find . -type f -mtime +30 -exec rm -f {} \;
# find . -type f -mtime +60 -exec rm -f {} \;

釋放inode緩存
# sync
# echo 3 > /proc/sys/vm/drop_caches

再次檢查下磁盤inode使用狀況
# df -i
===================================================

1）刪除無用的臨時文件，釋放inode。好比/tmp下有不少臨時文件
# ls -lt /tmp | wc -l
# find /tmp -type f -exec rm {} \;
  
若是使用rm *，有可能由於文件數量太多而出現Argument list too long錯誤
------------------------------------------------------------------------------------------
是在linux下，試圖傳太多參數給一個系統命令(ls *; cp *; rm *; cat *; etc..)時，就會出現 Argument list too long錯誤。
  
解決方法：使用find -exec 遍歷，而後執行刪除即可。
# find /tmp -type f -exec rm {} \;
------------------------------------------------------------------------------------------
  
2）除了的臨時文件外，0字節的文件也會佔用inode，應該也釋放。
# find /home -type f -size 0 -exec rm {} \;
  
3）inode爆滿，也多是某些目錄下存在大量的小文件致使。
大量小文件分佈有兩種可能：
a）一是隻有一個或少許目錄下存在大量小文件，這種狀況可使用以下命令來找出這個異常目錄：
# find / -type d -size +10M  
即找出大小大於10M的目錄（目錄大小越大，表示目錄下的文件越多）。
  
b）大量的小文件分佈在大量的目錄下，這時候上面的命令可能找不出異常的目錄，須要如下命令：
# cd /
# find */ ! -type l | cut -d / -f 1 | uniq -c
此命令做用是找出目錄下文件總數，可能須要執行屢次，直到找出具體的目錄。好比上面的命令找出了/data目錄下存在大量的小文件，
但/data/目錄還有不少目錄，這時候咱們還須要繼續執行：
# cd /data
# find */ ! -type l | cut -d / -f 1 | uniq -c
直到找出具體的目錄。
  
若是能夠直接刪除節點滿的文件夾：
# find . -type f -exec rm {} \;
  
還能夠按照文件的inode節點刪除文件
# find . -inum 342137 -exec rm -i {} \;