keywor:org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=jetty, scope=default:pant
est1, params=[table=default:pantest1],action=CREATE)html
錯誤的詳細描述以下:java
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-xnode
其實這個錯誤的緣由很容易看出來,用戶Administator在hadoop上執行寫操做時被權限系統拒絕.apache
看到這個錯誤的,第一步就是將這個錯誤直接入放到百度google裏面進行搜索。找到了N多篇文章,可是主要的思路就如此篇文章所寫的兩個解決辦法:http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html安全
一、在hdfs的配置文件中,將dfs.permissions修改成False服務器
二、執行這樣的操做 hadoop fs -chmod 777 /user/hadoopeclipse
對於上面的第一個方法,我試了行不通,不知道是本身設置錯誤仍是其餘緣由,對我此法不可行,第二個方法可行。第二個方法是讓咱們來修改HDFS中相應文件夾的權限,後面的/user/hadoop這個路徑爲HDFS中的文件路徑,這樣修改以後就讓咱們的administrator有在HDFS的相應目錄下有寫文件的權限(全部的用戶都是寫權限)。函數
雖然上面的第二步能夠解決問題了,上傳以後的文件全部者爲Administrator,可是總感受這樣的方法不夠優雅,並且這樣修改權限會有必定的安全問題,總之就是看着不爽,就在想有沒有其餘的辦法?oop
開始仔細的觀察了這個錯誤的詳細信息,看到user=Administrator, access=WRITE。這裏的user實際上是我當前系統(運行客戶端的計算機的操做系統)的用戶名,實際指望這裏的user=hadoop(hadoop是個人HADOOP上面的用戶名),可是它取的是當前的系統的用戶名,很明顯,若是我將當前系統的用戶名改成hadoop,這個確定也是能夠行得通的,可是若是後期將開發的代碼部署到服務器上以後,就不能方便的修改用戶,此方法明顯也不夠方便。google
如今就想着Configuration這個是一個配置類,有沒有一個參數是能夠在某個地方設置以哪一個用戶運行呢?搜索了半天,無果。沒有找到相關的配置參數。
最終只有繼續分析代碼, FileSystem fs = FileSystem.get(URI.create(dest), conf);代碼是在此處開始對HDFS進行調用,因此就想着將HADOOP的源碼下下來,debug整個調用過程,這個user=Administator是在什麼時間賦予的值。理解了調用過程,還怕找不到解決問題的辦法麼?
跟蹤代碼進入 FileSystem.get-->CACHE.get()-->Key key = new Key(uri, conf);到這裏的時候發現key值裏面已經有Administrator了,因此關鍵確定是在new key的過程。繼續跟蹤UserGroupInformation.getCurrentUser()-->getLoginUser()-->login.login()到這一步的時候發現用戶名已經肯定了,可是這個方法是Java的核心源碼,是一個通用的安全認證,但對這一塊不熟悉,可是debug時看到subject裏面有NTUserPrincipal:Administator,因此就想着搜索一下這個東西是啥,結果就找到了下面這一篇關鍵的文章:
http://www.udpwork.com/item/7047.html
在此篇文章裏面做者分析了hadoop的整個登陸過程,對於我有用的是其中的這一段:
2.login.login();
這個會調用HadoopLoginModule的login()和commit()方法。
HadoopLoginModule的login()方法是一個空函數,只打印了一行調試日誌 LOG.debug("hadoop login");
commit()方法負責把Principal添加到Subject中。
此時一個首要問題是username是什麼?
在使用了kerberos的狀況下,從javax.security.auth.kerberos.KerberosPrincipal的實例獲取username。
在未使用kerberos的狀況下,優先讀取HADOOP_USER_NAME這個系統環境變量,若是不爲空,那麼拿它做username。不然,讀取HADOOP_USER_NAME這個java環境變量。不然,從com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的實例獲取username。
若是以上嘗試都失敗,那麼拋出異常LoginException("Can’t find user name")。
最終拿username構造org.apache.hadoop.security.User的實例添加到Subject中。
看完這一段,我明白了執行login.login的時候調用了hadoop裏面的HadoopLoginModule方法,而關鍵是在commit方法裏面,在這裏優先讀取HADOOP_USER_NAME系統環境變量,而後是java環境變量,若是再沒有就從NTUserPrincipal等裏面取。關鍵代碼爲:
OK,看到這裏個人需求也就解決了,只要在系統的環境變量裏面添加HADOOP_USER_NAME=hadoop(HDFS上的有權限的用戶,具體看本身的狀況),或者在當前JDK的變量參數裏面添加HADOOP_USER_NAME這個Java變量便可。個人狀況添加系統環境變量更方法。
若是是在Eclipse裏面運行,修改完環境變量後,記得重啓一下eclipse,否則可能不會生效。
最終,總結下來解決辦法大概有三種:
一、在系統的環境變量或java JVM變量裏面添加HADOOP_USER_NAME,這個值具體等於多少看本身的狀況,之後會運行HADOOP上的Linux的用戶名。(修改完重啓eclipse,否則可能不生效)
二、將當前系統的賬號修改成hadoop
三、使用HDFS的命令行接口修改相應目錄的權限,hadoop fs -chmod 777 /user,後面的/user是要上傳文件的路徑,不一樣的狀況可能不同,好比要上傳的文件路徑爲hdfs://namenode/user/xxx.doc,則這樣的修改能夠,若是要上傳的文件路徑爲hdfs://namenode/java/xxx.doc,則要修改的爲hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /,java的那個須要先在HDFS裏面創建Java目錄,後面的這個是爲根目錄調整權限。
我喜歡第一個方法。