Hadoop開發第6期---HDFS的shell操做

時間 2019-11-20

標籤 hadoop 開發 hdfs shell 欄目 Hadoop 简体版

原文原文鏈接

1、HDFS的shell命令簡介

咱們都知道HDFS 是存取數據的分佈式文件系統，那麼對HDFS 的操做，就是文件系統的基本操做，好比文件的建立、修改、刪除、修改權限等，文件夾的建立、刪除、重命名等。對HDFS 的操做命令相似於lLinux 的shell 對文件的操做，如ls、mkdir、rm 等。
咱們在執行HDFS的shell操做的時候，必定要肯定hadoop 是正常運行的，咱們可使用使用jps 命令確保看到各個hadoop 進程。
咱們能夠執行命令hadoop fs，來查看HDFS的shell操做的全部命令以下。
[root@hadoop ~]# hadoop fs
Usage: java FsShell
           [-ls <path>]
           [-lsr <path>]
           [-du <path>]
           [-dus <path>]
           [-count[-q] <path>]
           [-mv <src> <dst>]
           [-cp <src> <dst>]
           [-rm [-skipTrash] <path>]
           [-rmr [-skipTrash] <path>]
           [-expunge]
           [-put <localsrc> ... <dst>]
           [-copyFromLocal <localsrc> ... <dst>]
           [-moveFromLocal <localsrc> ... <dst>]
           [-get [-ignoreCrc] [-crc] <src> <localdst>]
           [-getmerge <src> <localdst> [addnl]]
           [-cat <src>]
           [-text <src>]
           [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
           [-moveToLocal [-crc] <src> <localdst>]
           [-mkdir <path>]
           [-setrep [-R] [-w] <rep> <path/file>]
           [-touchz <path>]
           [-test -[ezd] <path>]
           [-stat [format] <path>]
           [-tail [-f] <file>]
           [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
           [-chown [-R] [OWNER][:[GROUP]] PATH...]
           [-chgrp [-R] GROUP PATH...]
           [-help [cmd]]java

2、HDFS的shell操做命令選項

選項名稱linux	使用格式shell	含義分佈式
-ls oop	-ls <路徑> spa	查看指定路徑的當前目錄結構3d
-lsr 日誌	-lsr <路徑> orm	遞歸查看指定路徑的目錄結構blog
-du	-du <路徑>	統計目錄下各文件大小
-dus	-dus <路徑>	彙總統計目錄下文件(夾)大小
-count	-count [-q] <路徑>	統計文件(夾)數量
-mv	-mv <源路徑> <目的路徑>	移動
-cp	-cp <源路徑> <目的路徑>	複製
-rm	-rm [-skipTrash] <路徑>	刪除文件/空白文件夾
-rmr	-rmr [-skipTrash] <路徑>	遞歸刪除
-put	-put <多個linux上的文件> <hdfs 路徑>	上傳文件
-copyFromLocal	-copyFromLocal <多個linux 上的文件> <hdfs 路徑>	從本地複製
-moveFromLocal	-moveFromLocal <多個linux 上的文件> <hdfs 路徑>	從本地移動
-getmerge	-getmerge <源路徑> <linux 路徑>	合併到本地
-cat	-cat <hdfs 路徑>	查看文件內容
-text	-text <hdfs 路徑>	查看文件內容
-copyToLocal	-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路徑] [linux 目的路徑]	複製到本地
-moveToLocal	-moveToLocal [-crc] <hdfs 源路徑> <linux目的路徑>	移動到本地
-setrep	-setrep [-R] [-w] <副本數> <路徑>	修改副本數量
-mkdir	-mkdir <hdfs 路徑>	建立空白文件夾
-touchz	-touchz <文件路徑>	建立空白文件
-stat	-stat [format] <路徑>	顯示文件統計信息
-tail	-tail [-f] <文件>	查看文件尾部信息
-chmod	-chmod [-R] <權限模式> [路徑]	修改權限
-chown	-chown [-R] [屬主][:[屬組]]路徑	修改屬主
-chgrp	-chgrp [-R] 屬組名稱路徑	修改屬組
-help	-help -help [命令選項]	幫助

3、各命令選項的用法

1. ls 顯示當前目錄結構

(1) 該命令選項表示查看指定路徑的當前目錄結構，後面跟hdfs 路徑，若是下圖所示

咱們解釋一下每一行的內容格式：

① 首字母表示文件夾(若是是「d」)仍是文件（若是是「-」）；
② 後面的9 位字符表示權限；
③ 後面的數字或者「-」表示副本數。若是是文件，使用數字表示副本數；文件夾沒有副本；
④ 後面的「root」表示屬主；
⑤ 後面的「supergroup」表示屬組；
⑥ 後面的「0」、「 84927175」表示文件大小，單位是字節；
⑦ 後面的時間表示修改時間，格式是年月日時分；
⑧ 最後一項表示文件路徑。
可見根目錄下面有1個文件夾、1個文件。

(2) 若是該命令選項後面沒有路徑，那麼就會訪問/user/<當前用戶>目錄。咱們使用root用戶登陸，所以會訪問hdfs 的/user/root 目錄，可是若是沒有這個目錄/user/root，會提示文件不存在的錯誤如圖3.1所示，添加該目錄後再次執行該命令如圖3.2,3.3所示。

圖 3.1

圖 3.2

圖 3.3