【Hadoop】- Hadoop經常使用命令

列出HDFS文件系統指定目錄下文件：hadoop dfs –ls 目錄

• -d:只顯示目錄信息，不顯示子目錄
• -h:以M爲單位的內存顯示
• -R:子目錄遞歸顯示

HDFS建立目錄：hadoop fs -mkdir [-p] <paths>

HDFS刪除目錄：hadoop fs -rmdir [--ignore-fail-on-non-empty] URI [URI ...]

建立空建立空文件：hadoop fs -touchz pathname

清空全部文件信息： hadoop fs -truncate [-w] <length> <paths>

• -w:若是要清空文件正在處理，則必須等待其處理完成以後再清空，這個期間該文件不能再次被打開

上傳文件到HDFS: Hadoop dfs -put 本地文件路徑 HDFS文件目錄

從HDFS下載文件：hadoop dfs –get hdfs文件路徑 本地目錄

本地文件複製到HDFS:Hadoop dfs [-f] [-p] 本地文件路徑 HDFS文件目錄

本地目錄複製到HDFS: hadoop dfs -copyFromLocal 本地路徑 HDFS目錄路徑

複製HDFS文件到本地：hadoop dfs -copyToLocal hdfs文件 本地目錄

本地目錄移動到HDFS: hadoop fs -moveFromLocal <localsrc> <dst> 先複製後刪除本地目錄

HDFS目錄移動本地：hadoop fs -moveToLocal [-crc] hdfs文件路徑 本地目錄（還未實現）

HDFS文件系統文件移動：hadoop fs -mv URI [URI ...] hdfs文件路徑

注意：只能在同一個HDFS內部移動，不能經過網絡等途徑跨文件系統移動

文件數據追加：hadoop fs -appendToFile 本地文件 hdfs文件路徑

查詢指定目錄的子目錄信息：hadoop fs -count [-q] [-h] [-v] <paths>

• -q : 指定輸出列參數項
• -h: 顯示文件的大小
• -v: 顯示標題行
• 返回：成功 0 失敗 -1

HDFS刪除文件目錄：hadoop fs -rm [-f] [-r |-R] [-skipTrash] URI [URI ...]

-f:若是文件不存在不會顯示錯誤等提示信息 -R/-r:等價：遞歸刪除子目錄 -skipTrash:清理垃圾文件，對於從超過文件容量的目錄中刪除文件頗有用

查看HDFS文本文件信息：hadoop dfs –cat hdfs文件路徑

查詢可用HDFS內存空間：hadoop fs -df [-h] URI [URI ...]

• -h:將內存以M的形式形式

查詢目錄下文件信息：hadoop fs -du [-s] [-h] URI [URI ...]

• -h: -h:將內存以M的形式形式 -s : 統計全部子文件信息，統一展現

個性化查詢目錄信息： hadoop fs -stat [format] <path> ...

• %F:顯示文件的類型：目錄/文件
• %u：顯示文件的擁有者
• %g：顯示文件的組別
• %o：按照塊的文件大小
• %r:顯示文件的複製因子
• %y：顯示文件的修改日期
• %n：顯示文件名

查詢文件最後1M的信息： hadoop fs -tail [-f] URI

• -f:輸出文件增加的數據：動態顯示

測試文件的信息：hadoop fs -test -[defsz] URI

• -d：判斷文件是不是目錄類型：0
• -e:判斷文件是否存在：0
• -f：判斷文件是不是文件類型: 0
• -s：判斷文件是否非空: 0
• -z：判斷文件是0字節 :0

查找文件：hadoop fs -find hdfs文件路徑 文件名錶達式

例：hdfs dfs -find /user/squirrel -name spark* -print -name:查找文件名的表達式：支持正則表達式 -print：打印文件路徑信息

顯示HDFS文件訪問受權信息：hadoop fs -getfacl [-R] <path>

• -R:顯示目錄子文件的權限信息

注意：開啓文件ACL訪問信息查詢權限：dfs.namenode.acls.enabled true

設置文件的訪問權限：hadoop fs -setfacl [-R] [-b |-k -m |-x acl_spec path] |[--set <acl_spec> <path>]

• -b:刪除除了基礎權限的全部權限
• -k：清除默認權限
• -R:遞歸授予子文件權限
• -m：修改ACL，添加新的權限信息，原有的權限會保留
• -x:清楚指定的ACL實體信息
• -set：替換原有的ACL信息，從新受權

例：hadoop fs -setfacl --set user::rw- /file

顯示文本文件信息：hadoop dfs -cat 文件路徑 或者 hadoop dfs -text 文件路徑

設置HDFS文件的備份因子：hadoop fs -setrep [-R] [-w] 備份數 hdfs文件

• -W:要求等待備份命令的完成，可能須要消耗不少時間
• -R：遞歸子類文件備份銀子設置

合併HDFS的文件到本地：hadoop fs -getmerge [-nl] hdfs文件列表 本地文件路徑

• -nl:每一個文件之間的內容使用空行分開

控制HDFS文件訪問權限：dfs -chmod -R 777
HDFS文件路徑(避免出現permission denied問題)

hadoop dfsadmin –report: 查看hdfs的狀態報告

hadoop安全模式處理：hadoop dfsadmin –safemode enter/leave