【轉】HDFS 的Trash回收站功能的配置、使用

原文連接 http://my.oschina.net/cloudcoder/blog/179381

 

文件的刪除和恢復 

       和Linux系統的回收站設計同樣，HDFS會爲每個用戶建立一個回收站目錄：/user/用戶名/.Trash/，每個被用戶經過Shell刪除的文件/目錄，在系統回收站中都一個週期，也就是當系統回收站中的文件/目錄在一段時間以後沒有被用戶回覆的話，HDFS就會自動的把這個文件/目錄完全刪除，以後，用戶就永遠也找不回這個文件/目錄了。在HDFS內部的具體實現就是在NameNode中開啓了一個後臺線程Emptier，這個線程專門管理和監控系統回收站下面的全部文件/目錄，對於已經超過生命週期的文件/目錄，這個線程就會自動的刪除它們，不過這個管理的粒度很大。另外，用戶也能夠手動清空回收站，清空回收站的操做和刪除普通的文件目錄是同樣的，只不過HDFS會自動檢測這個文件目錄是否是回收站，若是是，HDFS固然不會再把它放入用戶的回收站中了

       根據上面的介紹，用戶經過命令行即HDFS的shell命令刪除某個文件，這個文件並無馬上從HDFS中刪除。相反，HDFS將這個文件重命名，並轉移到操做用戶的回收站目錄中（如/user/hdfs/.Trash/Current, 其中hdfs是操做的用戶名）。若是用戶的回收站中已經存在了用戶當前刪除的文件/目錄，則HDFS會將這個當前被刪除的文件/目錄重命名，命名規則很簡單就是在這個被刪除的文件/目錄名後面緊跟一個編號(從1開始知道沒有重名爲止)。

        當文件還在/user/hdfs/.Trash/Current目錄時，該文件能夠被迅速地恢復。文件在/user/hdfs/.Trash/Current中保存的時間是可配置的，當超過這個時間，Namenode就會將該文件從namespace中刪除。 文件的刪除，也將釋放關聯該文件的數據塊。注意到，在文件被用戶刪除和HDFS空閒的增長之間會有一個等待時間延遲。 
    當被刪除的文件還保留在/user/hdfs/.Trash/Current目錄中的時候，若是用戶想恢復這個文件，能夠檢索瀏覽/user/hdfs/.Trash/Current目錄並檢索該文件。/user/hdfs/.Trash/Current目錄僅僅保存被刪除 文件的最近一次拷貝。/user/dfs/.Trash/Current目錄與其餘文件目錄沒有什麼不一樣，除了一點：HDFS在該目錄上應用了一個特殊的策略來自動刪除文件，目前的默認策略是 刪除保留超過6小時的文件，這個策略之後會定義成可配置的接口。

      還有，NameNode是經過後臺線程(默認是org.apache.hadoop.fs.TrashPolicyDefault.Emptier，也能夠經過fs.trash.classname指定TrashPolicy類)來定時清空全部用戶回收站中的文件/目錄的,它每隔interval分鐘就清空一次用戶回收站。具體的操做步驟是，先檢查用戶回收站目錄/user/用戶名/.Trash下的全部yyMMddHHmm形式的目錄，而後刪除壽命超過interval的目錄，最後將當前存放刪除的文件/目錄的回收站目錄/user/用戶名/.Trash/current重命名爲一個/user/用戶名/.Trash/yyMMddHHmm.

      從這個回收線程(Emptier)的實現能夠看出，被用戶用命令刪除的文件最多可在其回收站中保存2*interval分鐘，最少可保存interval分鐘，過了這個有效期，用戶刪除的文件就永遠也不可能恢復了

配置

在每一個節點(不單單是主節點)上添加配置 /etc/hadoop/conf/core-site.xml,增長以下內容

?

1 2 3 4

< property >      < name >fs.trash.interval</ name >      < value >1440</ value > </ property >

注意：當用戶寫程序調用HDFS的API時，NameNode並不會把刪除的文件或目錄放入回收站Trash中，而是須要本身實現相關的回收站邏輯，見以下的代碼

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64

import java.io.IOException;   import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.Trash;   public class RMFile {      private final static Log log = LogFactory.getLog(RMFile. class );      private final static Configuration conf = new Configuration();        /**       * Delete a file/directory on hdfs       *       * @param path       * @param recursive       * @return       * @throws IOException       */      public static boolean rm(FileSystem fs, Path path, boolean recursive)              throws IOException {          log.info( "rm: " + path + " recursive: " + recursive);          boolean ret = fs.delete(path, recursive);          if (ret)              log.info( "rm: " + path);          return ret;        }        /**       * Delete a file/directory on hdfs,and move a file/directory to Trash       * @param fs       * @param path       * @param recursive       * @param skipTrash       * @return       * @throws IOException       */      public static boolean rm(FileSystem fs, Path path, boolean recursive,              boolean skipTrash) throws IOException {          log.info( "rm: " + path + " recursive: " + recursive+ " skipTrash:" +skipTrash);          if (!skipTrash) {              Trash trashTmp = new Trash(fs, conf);              if (trashTmp.moveToTrash(path)) {                  log.info( "Moved to trash: " + path);                  return true ;              }          }          boolean ret = fs.delete(path, recursive);          if (ret)              log.info( "rm: " + path);          return ret;        }        public static void main(String[] args) throws IOException {          conf.set( "fs.default.name" , "hdfs://data2.kt:8020/" );          FileSystem fs = FileSystem.get(conf);          RMFile.rm(fs, new Path( "hdfs://data2.kt:8020/test/testrm" ), true , false );      }   }

執行程序後，發現使用程序刪除的文件，也到了用戶的回收站目錄中，見紅框內