大數據之---hadoop經常使用命令大全終極篇

軟件環境

RHEL6.8	hadoop2.8.1	apache-maven-3.3.9
findbugs-1.3.9	protobuf-2.5.0.tar.gz	jdk-8u45

(操做環境root安裝啓動的hadoop)
hadoop fs == hdfs dfs

將文件上傳至hadoop的根目錄/下載至本地
hadoop dfs -put filename /    
hadoop dfs -get /filename   
# '/'不是Linux的根目錄，表示hadoop的根目錄
 
上傳文件   下載
[root@hadoop01 software]# hdfs dfs -put apache-maven-3.3.9-bin.zip  /
[root@hadoop01 software]# hdfs  dfs -ls   /
[root@hadoop01 software]# hdfs dfs -put apache-maven-3.3.9-bin.zip  /
[root@hadoop01 software]# cd
[root@hadoop01 ~]# hdfs dfs -get /apache-maven-3.3.9-bin.zip

幫助

  [-moveFromLocal <localsrc> ... <dst>]
  [-moveToLocal <src> <localdst>]
查看hadoop裏的文件內容
hadoop dfs -ls /
[root@hadoop01 ~]# hdfs dfs -ls /
Found 3 items
-rw-r--r--   3 root supergroup    8617253 2018-04-26 09:20 /apache-maven-3.3.9-bin.zip
-rw-r--r--   3 root supergroup      59776 2018-04-26 09:14 /install.log
-rw-r--r--   3 root supergroup      11067 2018-04-26 08:46 /install.log.syslog
查看hadoop裏的文件的內容
hadoop fs -cat filename
[root@hadoop01 ~]# hadoop fs -cat   /file1
111

建立文件夾

  hadoop fs -mkdir -p /filename/filename
[root@hadoop01 ~]#   hadoop fs -mkdir -p /filename/filename

刪除file 刪除dir
[root@hadoop01 ~]# hadoop fs -rm -r -f /file1
Deleted /file1
[root@hadoop01 ~]# hadoop fs -rm -r -f /filename
Deleted /filename

  #  [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
 
  1.配置回收站
  vi core-site.xml
  <property> 
    <name>fs.trash.interval</name> 
    <value>10080</value>          # 回收站保留時間（分鐘）
  </property>
 
 
  2.測試
  hadoop fs -rm -r -f /xxxx                              進入回收站，是能夠恢復的
  hadoop fs -rm -r -f -skipTrash /xxxx       不進入回收站，是不能夠恢復的
  A.進入回收站
[root@hadoop01 ~]# hadoop fs -ls /
Found 4 items
-rw-r--r--   3 root supergroup    8617253 2018-04-26 09:20 /apache-maven-3.3.9-bin.zip
drwxr-xr-x   - root supergroup          0 2018-04-26 09:35 /dir
-rw-r--r--   3 root supergroup      59776 2018-04-26 09:14 /install.log
-rw-r--r--   3 root supergroup      11067 2018-04-26 08:46 /install.log.syslog
[root@hadoop01 ~]# hadoop fs -rm -r -f /install.log
18/04/26 09:38:28 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.16.18.133:9000/install.log' to trash at: hdfs://172.16.18.133:9000/user/root/.Trash/Current/install.log
[root@hadoop01 ~]# hadoop fs -ls
Found 1 items
drwx------   - root supergroup          0 2018-04-26 09:38 .Trash
[root@hadoop01 ~]# hadoop fs -ls
Found 1 items
drwx------   - root supergroup          0 2018-04-26 09:38 .Trash
[root@hadoop01 ~]# hadoop fs -ls .Trash/
Found 1 items
drwx------   - root supergroup          0 2018-04-26 09:38 .Trash/Current
[root@hadoop01 ~]# hadoop fs -ls .Trash/Current
Found 1 items
-rw-r--r--   3 root supergroup      59776 2018-04-26 09:14 .Trash/Current/install.log
  恢復剛剛刪除的文件
[root@hadoop01 ~]# hadoop fs -ls /user
Found 1 items
drwx------   - root supergroup          0 2018-04-26 09:38 /user/root
[root@hadoop01 ~]# hadoop fs -ls /user/root/
Found 1 items
drwx------   - root supergroup          0 2018-04-26 09:38 /user/root/.Trash
[root@hadoop01 ~]# hadoop fs -mv /user/root/.Trash/Current/install.log  /
[root@hadoop01 ~]# hadoop fs -ls /
Found 5 items
-rw-r--r--   3 root supergroup    8617253 2018-04-26 09:20 /apache-maven-3.3.9-bin.zip
drwxr-xr-x   - root supergroup          0 2018-04-26 09:35 /dir
-rw-r--r--   3 root supergroup      59776 2018-04-26 09:14 /install.log
-rw-r--r--   3 root supergroup      11067 2018-04-26 08:46 /install.log.syslog
drwx------   - root supergroup          0 2018-04-26 09:38 /user
 
  B.不進入回收站
[root@hadoop01 ~]# hadoop fs -rm -r -f -skipTrash  /install.log.syslog
Deleted /install.log.syslog
[root@hadoop01 ~]# hadoop fs -ls
Found 1 items
drwx------   - root supergroup          0 2018-04-26 09:38 .Trash
[root@hadoop01 ~]# hadoop fs -ls .Trash/Current
[root@hadoop01 ~]#        

hdfs fs -moveFromLocal /input/xx.txt /input/xx.txt  ---從本地剪切粘貼到hdfs

hdfs fs -moveToLocal /input/xx.txt /input/xx.txt  --從hdfs剪切粘貼到本地

hdfs fs -appedToFile ./hello.txt /input/hello.txt  ---追加一個文件到另外一個文件到末尾

注意：appedToFile  moveToLocal moveFromLocal  大小寫嚴格

hdfs fs -cat /input/hello.txt   ---查看文件內容

hdfs fs -tail /input/hello.txt   ---顯示一個文件到末尾

hdfs fs -text /input/hello.txt  ---以字符串的形式打印文件的內容

hdfs fs -chmod 666 /input/hello.txt   ---修改文件權限

hdfs fs -chown ruoze.ruoze  /input/hello.txt   --修改文件所屬

hdfs fs -copyFromLocal /input/hello.txt /input/   --從本地文件系統拷貝到hdfs裏

hdfs fs -copyToLocal /input/hello.txt /input/     --從hdfs拷貝到本地

hdfs fs -cp /input/xx.txt /output/xx.txt              ---從hdfs到一個路徑拷貝到另外一個路徑

hdfs fs -mv /input/xx.txt /output/xx.txt            ---從hdfs到一個路徑移動到另外一個路徑

hdfs fs -df -h /                                                              ----統計文件系統的可用空間信息

hdfs fs -du -s -h /                                                         ----統計文件夾的大小信息

hadoop  fs -count /aaa  -                                             ---統計一個指定目錄下的文件節點數量

hadoop fs -setrep 3 /input/xx.txt                           --設置hdfs的文件副本數量