HDFS的Trash回收站功能

文件的刪除和恢復

      和Linux系統的回收站設計同樣，HDFS會爲每個用戶建立一個回收站目錄：/user/用戶名/.Trash/，每個被用戶經過Shell刪除的文件/目錄，在系統回收站中都一個週期，也就是當系統回收站中的文件/目錄在一段時間以後沒有被用戶恢復的話，HDFS就會自動的把這個文件/目錄完全刪除，以後，用戶就永遠也找不回這個文件/目錄了。在HDFS內部的具體實現就是在NameNode中開啓了一個後臺線程Emptier，這個線程專門管理和監控系統回收站下面的全部文件/目錄，對於已經超過生命週期的文件/目錄，這個線程就會自動的刪除它們，不過這個管理的粒度很大。另外，用戶也能夠手動清空回收站，清空回收站的操做和刪除普通的文件目錄是同樣的，只不過HDFS會自動檢測這個文件目錄是否是回收站，若是是，HDFS固然不會再把它放入用戶的回收站中了。

--此處注意：hdfs會爲每一個用戶都建一個回收站，用戶刪除文件時，文件並非完全地消失了，而是mv到了/user/用戶名/.Trash/這個文件下，在一段時間內，用戶能夠恢復這些已經刪除的文件。若是用戶沒有主動刪除，那麼系統會根據用戶設置的時間把文件刪除掉（某些默認設置是360分鐘，用戶也能夠本身設置這個刪除的時間設置），用戶也能夠手動清空回收站，這樣刪除的文件就再也找不回來了。

       根據上面的介紹，用戶經過命令行即HDFS的shell命令刪除某個文件，這個文件並無馬上從HDFS中刪除。相反，HDFS將這個文件重命名，並轉移到操做用戶的回收站目錄中（如/user/hdfs/.Trash/Current, 其中hdfs是操做的用戶名）。若是用戶的回收站中已經存在了用戶當前刪除的文件/目錄，則HDFS會將這個當前被刪除的文件/目錄重命名，命名規則很簡單就是在這個被刪除的文件/目錄名後面緊跟一個編號(從1開始知道沒有重名爲止)。

        當文件還在/user/hdfs/.Trash/Current目錄時，該文件能夠被迅速地恢復。文件在/user/hdfs/.Trash/Current中保存的時間是可配置的，當超過這個時間，Namenode就會將該文件從namespace中刪除。 文件的刪除，也將釋放關聯該文件的數據塊。注意到，在文件被用戶刪除和HDFS空閒的增長之間會有一個等待時間延遲。 
    當被刪除的文件還保留在/user/hdfs/.Trash/Current目錄中的時候，若是用戶想恢復這個文件，能夠檢索瀏覽/user/hdfs/.Trash/Current目錄並檢索該文件。/user/hdfs/.Trash/Current目錄僅僅保存被刪除 文件的最近一次拷貝。/user/dfs/.Trash/Current目錄與其餘文件目錄沒有什麼不一樣，除了一點：HDFS在該目錄上應用了一個特殊的策略來自動刪除文件，目前的默認策略是 刪除保留超過6小時的文件，這個策略之後會定義成可配置的接口。

      還有，NameNode是經過後臺線程(默認是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也能夠經過fs.trash.classname指定TrashPolicy類)來定時清空全部用戶回收站中的文件/目錄的,它每隔interval分鐘就清空一次用戶回收站。具體的操做步驟是，先檢查用戶回收站目錄/user/用戶名/.Trash下的全部yyMMddHHmm形式的目錄，而後刪除壽命超過interval的目錄，最後將當前存放刪除的文件/目錄的回收站目錄/user/用戶名/.Trash/current重命名爲一個/user/用戶名/.Trash/yyMMddHHmm.

      從這個回收線程(Emptier)的實現能夠看出，被用戶用命令刪除的文件最多可在其回收站中保存2*interval分鐘，最少可保存interval分鐘，過了這個有效期，用戶刪除的文件就永遠也不可能恢復了。

配置

在每一個節點(不單單是主節點)上添加配置 /etc/hadoop/conf/core-site.xml,增長以下內容

1 2 3 4

<property>     <name>fs.trash.interval</name>     <value>1440</value> </property>

注意：當用戶寫程序調用HDFS的API時，NameNode並不會把刪除的文件或目錄放入回收站Trash中，而是須要本身實現相關的回收站邏輯，見以下的代碼

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64

import java.io.IOException;   import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.Trash;   public class RMFile {     private final static Log log = LogFactory.getLog(RMFile.class);     private final static Configuration conf = new Configuration();       /**      * Delete a file/directory on hdfs      *      * @param path      * @param recursive      * @return      * @throws IOException      */     public static boolean rm(FileSystem fs, Path path, boolean recursive)             throws IOException {         log.info("rm: " + path + " recursive: " + recursive);         boolean ret = fs.delete(path, recursive);         if (ret)             log.info("rm: " + path);         return ret;       }       /**      * Delete a file/directory on hdfs,and move a file/directory to Trash      * @param fs      * @param path      * @param recursive      * @param skipTrash      * @return      * @throws IOException      */     public static boolean rm(FileSystem fs, Path path, boolean recursive,             boolean skipTrash) throws IOException {         log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash);         if (!skipTrash) {             Trash trashTmp = new Trash(fs, conf);             if (trashTmp.moveToTrash(path)) {                 log.info("Moved to trash: " + path);                 return true;             }         }         boolean ret = fs.delete(path, recursive);         if (ret)             log.info("rm: " + path);         return ret;       }       public static void main(String[] args) throws IOException {         conf.set("fs.default.name", "hdfs://data2.kt:8020/");         FileSystem fs = FileSystem.get(conf);         RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false);     }   }

注：內容來自互聯網並輔以本身的理解，若有侵權，請聯繫我刪除。

示例：執行 Hadoop fs -rm -f /文件路徑，將文件刪除時，文件並非直接消失在系統中，而是被從當前目錄move到了所屬用戶的回收站中。保留時間（1440分鐘=24小時），24小時內，用戶能夠去回收站找到這個文件，而且恢復它。24小時事後，系統會自動刪除這個文件，因而這個文件完全被刪除了。

輸入命令：hdfs  dfs -du /user/*

能夠找到你的用戶相關的回收站文件  /user/fughting/.Trash/Current 文件

輸入命令：hdfs  dfs  -rm  -r   /user/fughting/.Trash/Current 就能夠清空fighting這個用戶的回收站了

 備註：

hadoop fs：使用面最廣，能夠操做任何文件系統。

hadoop dfs與hdfs dfs：只能操做HDFS文件系統相關（包括與Local FS間的操做），前者已經Deprecated，通常使用後者。