(轉)HDFS客戶端的權限錯誤：Permission denied

搭建了一個Hadoop的環境，Hadoop集羣環境部署在幾個Linux服務器上，如今想使用windows上的Java客戶端來操做集羣中的HDFS文件，可是在客戶端運行時出現了以下的認證錯誤，被折磨了幾天，問題終得以解決。以此文記錄問題的解決過程。

（若是想看最終解決問題的方法拉到最後，若是想看個人問題解決思路請從上向下看）

問題描述

上傳文件的代碼：

1.     private static void uploadToHdfs() throws FileNotFoundException,IOException {
2.         //個人文件地址
3.         String localSrc = "E:\\快盤\\技術文檔\\hadoop\\HDFS初步研究.pdf";
4.         //存放在雲端的目的地址
5.         String dest = "hdfs://192.168.2.156:9000/user/HDFS初步研究.pdf";
6.         InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
7.         //獲得配置對象
8.         Configuration conf = new Configuration();
9. //        conf.set("fs.default.name","hdfs://192.168.2.156:9000");
10.         //文件系統
11.         FileSystem fs = FileSystem.get(URI.create(dest), conf);
12.         //輸出流
13.         OutputStream out = fs.create(new Path(dest), new Progressable() {
14.             @Override
15.             public void progress() {
16.                 System.out.println("上傳完一個設定緩存區大小容量的文件！");
17.             }
18.         });
19.         //鏈接兩個流，造成通道，使輸入流向輸出流傳輸數據
20.         IOUtils.copyBytes(in, out, 4096, true);
21.     }

錯誤的詳細描述以下：

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

其實這個錯誤的緣由很容易看出來，用戶Administator在hadoop上執行寫操做時被權限系統拒絕.

解決問題的過程

看到這個錯誤的，第一步就是將這個錯誤直接入放到百度google裏面進行搜索。找到了N多篇文章，可是主要的思路就如此篇文章所寫的兩個解決辦法：http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

一、在hdfs的配置文件中，將dfs.permissions修改成False

二、執行這樣的操做 hadoop fs -chmod 777 /user/hadoop

對於上面的第一個方法，我試了行不通，不知道是本身設置錯誤仍是其餘緣由，對我此法不可行，第二個方法可行。第二個方法是讓咱們來修改HDFS中相應文件夾的權限，後面的/user/hadoop這個路徑爲HDFS中的文件路徑，這樣修改以後就讓咱們的administrator有在HDFS的相應目錄下有寫文件的權限（全部的用戶都是寫權限）。

雖然上面的第二步能夠解決問題了，上傳以後的文件全部者爲Administrator，可是總感受這樣的方法不夠優雅，並且這樣修改權限會有必定的安全問題，總之就是看着不爽，就在想有沒有其餘的辦法？

問題分析

開始仔細的觀察了這個錯誤的詳細信息，看到user=Administrator, access=WRITE。這裏的user實際上是我當前系統（運行客戶端的計算機的操做系統）的用戶名，實際指望這裏的user=hadoop（hadoop是個人HADOOP上面的用戶名），可是它取的是當前的系統的用戶名，很明顯，若是我將當前系統的用戶名改成hadoop，這個確定也是能夠行得通的，可是若是後期將開發的代碼部署到服務器上以後，就不能方便的修改用戶，此方法明顯也不夠方便。

如今就想着Configuration這個是一個配置類，有沒有一個參數是能夠在某個地方設置以哪一個用戶運行呢？搜索了半天，無果。沒有找到相關的配置參數。

最終只有繼續分析代碼， FileSystem fs = FileSystem.get(URI.create(dest), conf);代碼是在此處開始對HDFS進行調用，因此就想着將HADOOP的源碼下下來，debug整個調用過程，這個user=Administator是在什麼時間賦予的值。理解了調用過程，還怕找不到解決問題的辦法麼？

跟蹤代碼進入 FileSystem.get-->CACHE.get（）-->Key key = new Key(uri, conf);到這裏的時候發現key值裏面已經有Administrator了，因此關鍵確定是在new key的過程。繼續跟蹤UserGroupInformation.getCurrentUser()-->getLoginUser()-->login.login()到這一步的時候發現用戶名已經肯定了，可是這個方法是Java的核心源碼，是一個通用的安全認證，但對這一塊不熟悉，可是debug時看到subject裏面有NTUserPrincipal：Administator，因此就想着搜索一下這個東西是啥，結果就找到了下面這一篇關鍵的文章：

http://www.udpwork.com/item/7047.html

在此篇文章裏面做者分析了hadoop的整個登陸過程，對於我有用的是其中的這一段：

2.login.login();
這個會調用HadoopLoginModule的login()和commit()方法。
HadoopLoginModule的login()方法是一個空函數，只打印了一行調試日誌 LOG.debug("hadoop login");
commit()方法負責把Principal添加到Subject中。
此時一個首要問題是username是什麼？
在使用了kerberos的狀況下，從javax.security.auth.kerberos.KerberosPrincipal的實例獲取username。
在未使用kerberos的狀況下，優先讀取HADOOP_USER_NAME這個系統環境變量，若是不爲空，那麼拿它做username。不然，讀取HADOOP_USER_NAME這個java環境變量。不然，從com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的實例獲取username。
若是以上嘗試都失敗，那麼拋出異常LoginException("Can’t find user name")。
最終拿username構造org.apache.hadoop.security.User的實例添加到Subject中。

看完這一段，我明白了執行login.login的時候調用了hadoop裏面的HadoopLoginModule方法，而關鍵是在commit方法裏面，在這裏優先讀取HADOOP_USER_NAME系統環境變量，而後是java環境變量，若是再沒有就從NTUserPrincipal等裏面取。關鍵代碼爲：

1. if (!isSecurityEnabled() && (user == null)) {
2.   String envUser = System.getenv(HADOOP_USER_NAME);
3.   if (envUser == null) {
4.     envUser = System.getProperty(HADOOP_USER_NAME);
5.   }
6.   user = envUser == null ? null : new User(envUser);
7. }

OK，看到這裏個人需求也就解決了，只要在系統的環境變量裏面添加HADOOP_USER_NAME=hadoop（HDFS上的有權限的用戶，具體看本身的狀況），或者在當前JDK的變量參數裏面添加HADOOP_USER_NAME這個Java變量便可。個人狀況添加系統環境變量更方法。

若是是在Eclipse裏面運行，修改完環境變量後，記得重啓一下eclipse，否則可能不會生效。

解決辦法

最終，總結下來解決辦法大概有三種：

一、在系統的環境變量或java JVM變量裏面添加HADOOP_USER_NAME，這個值具體等於多少看本身的狀況，之後會運行HADOOP上的Linux的用戶名。（修改完重啓eclipse，否則可能不生效）

二、將當前系統的賬號修改成hadoop

三、使用HDFS的命令行接口修改相應目錄的權限，hadoop fs -chmod 777 /user,後面的/user是要上傳文件的路徑，不一樣的狀況可能不同，好比要上傳的文件路徑爲hdfs://namenode/user/xxx.doc，則這樣的修改能夠，若是要上傳的文件路徑爲hdfs://namenode/java/xxx.doc，則要修改的爲hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /，java的那個須要先在HDFS裏面創建Java目錄，後面的這個是爲根目錄調整權限。

我喜歡第一個方法。