Hadoop 命令整理

1.appendToFile

將【單個文件】或【多個文件】從本地文件系統追加到hdfs目標文件。

用法：hadoop fs -appendToFile <localsrc> ... <dst>

例子：hadoop fs -appendToFile log.txt  word.txt hdfs://Hadoop1:9000/hd-test.txt

2.cat

將指定【hdfs文件】內容輸出到控制檯。

用法： hadoop fs -cat [-ignoreCrc] URI [URI ...]

例子：hadoop fs -cat hdfs://Hadoop1:9000/hd-test.txt

3.checksum

返回【文件】的校驗和信息。

用法：hadoop fs -checksum URI

例子：hadoop fs -checksum file:///etc/hosts    檢驗本地文件

         hadoop fs -checksum hdfs://Hadoop1:9000/hd-test.txt    檢驗hdfs文件

4.chgrp

更改hdfs【hdfs文件】的組關聯。用戶必須是文件的全部者，不然是超級用戶。

用法：hadoop fs -chgrp [-R] GROUP URI [URI ...]

-R選項將經過目錄結構遞歸地進行更改

例子：hadoop fs -chgrp hadoop hdfs://Hadoop1:9000/hd-test.txt

5.chmod

更改文件的權限。使用-R，遞歸地經過目錄結構進行更改。用戶必須是文件的全部者，不然是超級用戶。

用法： hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

例子：hadoop fs -chmod 777 hdfs://Hadoop1:9000/hd-test.txt

6.chown

更改文件的全部者。用戶必須是超級用戶。

用法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

例子：hadoop fs -chown hadoop hdfs://Hadoop1:9000/hd-test.txt

7.copyFromLocal

與fs -put命令相似，-put把本地或者HDFS上的文件拷貝到HDFS中，copyFromLocal源限制爲本地文件。

用法：hadoop fs -copyFromLocal <localsrc> URI

參數：

• -p：保留訪問和修改時間，全部權和權限。（假設權限能夠跨文件系統傳播）
• -f：覆蓋目標，若是它已經存在。
• -l：容許DataNode延遲地將文件保存到磁盤，強制複製因子爲1.此標誌將致使減小的持久性。
• -d：跳過建立後綴爲._COPYING_的臨時文件。

例子：hadoop fs -copyFromLocal word.txt  hdfs://Hadoop1:9000/word.txt

8.copyToLocal

與get命令相似，只是目標被限制爲本地文件。

用法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

例子：hadoop fs -copyToLocal  hdfs://Hadoop1:9000/word.txt word3.txt

9.count

統計與指定文件模式匹配的路徑下的目錄，文件和字節數。帶有-count的輸出列是：DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME。

參數：

• -q的輸出列爲：QUOTA，REMAINING_QUATA，SPACE_QUOTA，REMAINING_SPACE_QUOTA，DIR_COUNT，FILE_COUNT，CONTENT_SIZE，PATHNAME
• -h選項以可讀格式顯示大小。
• -v選項顯示標題行。

用法：hadoop fs -count [-q] [-h] [-v] <paths>

例子：hadoop fs -count -v  hdfs://Hadoop1:9000/word.txt

10.cp

將文件從源文件複製到目的地。這個命令容許多個源，在這種狀況下，目標必須是一個目錄。
若是（1）源和目標文件系統支持它們（僅限於HDFS），（2）全部源和目標路徑名都在/.reserved/raw層次結構中，則保留'raw。*'命名空間擴展屬性。肯定raw。* namespace xattrs是否保存與-p（preserve）標誌無關。
選項：

• -f若是它已經存在，選項將覆蓋目標。
• -p選項將保留文件屬性[topx]（時間戳，全部權，權限，ACL，XAttr）。若是-p指定爲不帶arg，則保留時間戳，全部權和權限。若是指定了-pa，則還會保留權限，由於ACL是超級權限。肯定是否保留原始名稱空間擴展屬性與-p標誌無關。

用法：hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

例子：