hadoop命令大全

一、列出全部Hadoop Shell支持的命令
  $ bin/hadoop fs -help
二、顯示關於某個命令的詳細信息
  $ bin/hadoop fs -help command-name
三、用戶可以使用如下命令在指定路徑下查看歷史日誌彙總
  $ bin/hadoop job -history output-dir
這條命令會顯示做業的細節信息，失敗和終止的任務細節。
四、關於做業的更多細節，好比成功的任務，以及對每一個任務的所作的嘗試次數等能夠用下面的命令查看
  $ bin/hadoop job -history all output-dir
五、 格式化一個新的分佈式文件系統：
  $ bin/hadoop namenode -format
六、在分配的NameNode上，運行下面的命令啓動HDFS：
  $ bin/start-dfs.sh
  bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上啓動DataNode守護進程。
七、在分配的JobTracker上，運行下面的命令啓動Map/Reduce：
  $ bin/start-mapred.sh
  bin/start-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上啓動TaskTracker守護進程。
八、在分配的NameNode上，執行下面的命令中止HDFS：
  $ bin/stop-dfs.sh
  bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上中止DataNode守護進程。
九、在分配的JobTracker上，運行下面的命令中止Map/Reduce：
  $ bin/stop-mapred.sh
  bin/stop-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上中止TaskTracker守護進程。
 
DFSShell
十、建立一個名爲 /foodir 的目錄
  $ bin/hadoop dfs -mkdir /foodir
十一、建立一個名爲 /foodir 的目錄    
  $ bin/hadoop dfs -mkdir /foodir
十二、查看名爲 /foodir/myfile.txt 的文件內容    
  $ bin/hadoop dfs -cat /foodir/myfile.txt

DFSAdmin
1三、將集羣置於安全模式       
  $ bin/hadoop dfsadmin -safemode enter
1四、顯示Datanode列表    
  $ bin/hadoop dfsadmin -report
1五、使Datanode節點 datanodename退役   
  $ bin/hadoop dfsadmin -decommission datanodename
1六、bin/hadoop dfsadmin -help 命令能列出全部當前支持的命令。好比：
    * -report：報告HDFS的基本統計信息。有些信息也能夠在NameNode Web服務首頁看到。
    * -safemode：雖然一般並不須要，可是管理員的確能夠手動讓NameNode進入或離開安全模式。
    * -finalizeUpgrade：刪除上一次升級時製做的集羣備份。
1七、顯式地將HDFS置於安全模式
  $ bin/hadoop dfsadmin -safemode
1八、在升級以前，管理員須要用（升級終結操做）命令刪除存在的備份文件
  $ bin/hadoop dfsadmin -finalizeUpgrade
1九、可以知道是否須要對一個集羣執行升級終結操做。
  $ dfsadmin -upgradeProgress status
20、使用-upgrade選項運行新的版本
  $ bin/start-dfs.sh -upgrade
2一、若是須要退回到老版本,就必須中止集羣而且部署老版本的Hadoop，用回滾選項啓動集羣
  $ bin/start-dfs.h -rollback
2二、下面的新命令或新選項是用於支持配額的。 前兩個是管理員命令。  
    * dfsadmin -setquota <N> <directory>...<directory>
      把每一個目錄配額設爲N。這個命令會在每一個目錄上嘗試， 若是N不是一個正的長整型數，目錄不存在或是文件名， 或者目錄超過配額，則會產生錯誤報告。
    * dfsadmin -clrquota <directory>...<director>
      爲每一個目錄刪除配額。這個命令會在每一個目錄上嘗試，若是目錄不存在或者是文件，則會產生錯誤報告。若是目錄原來沒有設置配額不會報錯。
    * fs -count -q <directory>...<directory>
      使用-q選項，會報告每一個目錄設置的配額，以及剩餘配額。 若是目錄沒有設置配額，會報告none和inf。
2三、建立一個hadoop檔案文件
  $ hadoop archive -archiveName NAME <src>* <dest>
                        -archiveName NAME  要建立的檔案的名字。
                        src 文件系統的路徑名，和一般含正則表達的同樣。
                        dest 保存檔案文件的目標目錄。
2四、遞歸地拷貝文件或目錄
  $ hadoop distcp <srcurl> <desturl>
                        srcurl      源Url
                        desturl     目標Url

2五、運行HDFS文件系統檢查工具(fsck tools)
用法：hadoop fsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
命令選項     描述
<path>      檢查的起始目錄。
-move             移動受損文件到/lost+found
-delete     刪除受損文件。
-openforwrite     打印出寫打開的文件。
-files             打印出正被檢查的文件。
-blocks     打印出塊信息報告。
-locations     打印出每一個塊的位置信息。
-racks             打印出data-node的網絡拓撲結構。
2六、用於和Map Reduce做業交互和命令(jar)
用 法：hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>]
命令選項                                                    描述
-submit <job-file>                                            提交做業
-status <job-id>                                            打印map和reduce完成百分比和全部計數器。
-counter <job-id> <group-name> <counter-name>                    打印計數器的值。
-kill <job-id>                                                    殺死指定做業。
-events <job-id> <from-event-#> <#-of-events>                    打印給定範圍內jobtracker接收到的事件細節。
-history [all] <jobOutputDir>     -history <jobOutputDir>        打印做業的細節、失敗及被殺死緣由的細節。更多的關於一個做業的細節好比
                                                               成功的任務，作過的任務嘗試等信息能夠經過指定[all]選項查看。
-list [all]     -list all                                      顯示全部做業。-list只顯示將要完成的做業。
-kill-task <task-id>                                            殺死任務。被殺死的任務不會不利於失敗嘗試。
-fail-task <task-id>                                            使任務失敗。被失敗的任務會對失敗嘗試不利。
2七、運行pipes做業
用 法：hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
命令選項                              描述
-conf <path>                              做業的配置
-jobconf <key=value>, <key=value>, ...      增長/覆蓋做業的配置項
-input <path>                              輸入目錄
-output <path>                        輸出目錄
-jar <jar file>                      Jar文件名
-inputformat <class>                      InputFormat類
-map <class>                              Java Map類
-partitioner <class>                      Java Partitioner
-reduce <class>                      Java Reduce類
-writer <class>                      Java RecordWriter
-program <executable>                      可執行程序的URI
-reduces <num>                              reduce個數
2八、打印版本信息。
 用法：hadoop version
2九、hadoop腳本可用於調調用任何類。
 用法：hadoop CLASSNAME
            運行名字爲CLASSNAME的類。
30、運行集羣平衡工具。管理員能夠簡單的按Ctrl-C來中止平衡過程(balancer)
 用法：hadoop balancer [-threshold <threshold>]
命令選項                             描述
-threshold <threshold>                     磁盤容量的百分比。這會覆蓋缺省的閥值。
3一、獲取或設置每一個守護進程的日誌級別(daemonlog)。
用法：hadoop daemonlog -getlevel <host:port> <name>
用法：hadoop daemonlog -setlevel <host:port> <name> <level>
命令選項                                        描述
-getlevel <host:port> <name>                        打印運行在<host:port>的守護進程的日誌級別。這個命令內部會鏈接 http://<host:port>/logLevel?log=<name>
-setlevel <host:port> <name> <level>                設置運行在<host:port>的守護進程的日誌級別。這個命令內部會鏈接 http://<host:port>/logLevel?log=<name>
3二、運行一個HDFS的datanode。
用法：hadoop datanode [-rollback]
命令選項                                       描述
-rollback                                       將datanode回滾到前一個版本。這須要在中止datanode，分發老的hadoop版本以後使用。
3三、運行一個HDFS的dfsadmin客戶端。
用 法：hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]
命令選項                                                        描述
-report                                                        報告文件系統的基本信息和統計信息。
-safemode enter | leave | get | wait                                安全模式維護命令。安全模式是Namenode的一個狀態，這種狀態下，Namenode
1. 不接受對名字空間的更改(只讀)
2. 不復制或刪除塊
Namenode會在啓動時自動進入安全模式，當配置的塊最小百分比數知足最小的副本數條件時，會自動離開安全模式。安全模式能夠手動進入，可是這樣的話也必須手動關閉安全模式。
-refreshNodes                                      從新讀取hosts和exclude文件，更新容許連到Namenode的或那些須要退出或入編的Datanode的集合。
-finalizeUpgrade                              終結HDFS的升級操做。Datanode刪除前一個版本的工做目錄，以後Namenode也這樣作。這個操做完結整個升級過程。
-upgradeProgress status | details | force      請求當前系統的升級狀態，狀態的細節，或者強制升級操做進行。
-metasave filename                              保存Namenode的主要數據結構到hadoop.log.dir屬性指定的目錄下的<filename>文件。對於下面的每一項，
                                                 <filename>中都會一行內容與之對應
1. Namenode收到的Datanode的心跳信號
2. 等待被複制的塊
3. 正在被複制的塊
4. 等待被刪除的塊
-setQuota <quota> <dirname>...<dirname>     爲每一個目錄 <dirname>設定配額<quota>。目錄配額是一個長整型整數，強制限定了目錄樹下的名字個數。
命令會在這個目錄上工做良好，如下狀況會報錯：
1. N不是一個正整數，或者
2. 用戶不是管理員，或者
3. 這個目錄不存在或是文件，或者
4. 目錄會立刻超出新設定的配額。
-clrQuota <dirname>...<dirname>     爲每個目錄<dirname>清除配額設定。
命令會在這個目錄上工做良好，如下狀況會報錯：
1. 這個目錄不存在或是文件，或者
2. 用戶不是管理員。
若是目錄原來沒有配額不會報錯。
-help [cmd]     顯示給定命令的幫助信息，若是沒有給定命令，則顯示全部命令的幫助信息。
3四、運行MapReduce job Tracker節點(jobtracker)。
用法：hadoop jobtracker
3五、運行namenode。有關升級，回滾，升級終結的更多信息請參考升級和回滾。
用法：hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]
命令選項                             描述
-format                             格式化namenode。它啓動namenode，格式化namenode，以後關閉namenode。
-upgrade                             分發新版本的hadoop後，namenode應以upgrade選項啓動。
-rollback                             將namenode回滾到前一版本。這個選項要在中止集羣，分發老的hadoop版本後使用。
-finalize                             finalize會刪除文件系統的前一狀態。最近的升級會被持久化，rollback選項將再
                                        不可用，升級終結操做以後，它會停掉namenode。
-importCheckpoint                     從檢查點目錄裝載鏡像並保存到當前檢查點目錄，檢查點目錄由fs.checkpoint.dir指定。
3六、運行HDFS的secondary namenode。
用法：hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]
命令選項                             描述
-checkpoint [force]                     若是EditLog的大小 >= fs.checkpoint.size，啓動Secondary namenode的檢查點
                                        過程。 若是使用了-force，將不考慮EditLog的大小。
-geteditsize                             打印EditLog大小。
3七、運行MapReduce的task Tracker節點。
 用法：hadoop tasktracker
一、列出全部Hadoop Shell支持的命令
  $ bin/hadoop fs -help
二、顯示關於某個命令的詳細信息
  $ bin/hadoop fs -help command-name
三、用戶可以使用如下命令在指定路徑下查看歷史日誌彙總
  $ bin/hadoop job -history output-dir
這條命令會顯示做業的細節信息，失敗和終止的任務細節。
四、關於做業的更多細節，好比成功的任務，以及對每一個任務的所作的嘗試次數等能夠用下面的命令查看
  $ bin/hadoop job -history all output-dir
五、 格式化一個新的分佈式文件系統：
  $ bin/hadoop namenode -format
六、在分配的NameNode上，運行下面的命令啓動HDFS：
  $ bin/start-dfs.sh
  bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上啓動DataNode守護進程。
七、在分配的JobTracker上，運行下面的命令啓動Map/Reduce：
  $ bin/start-mapred.sh
  bin/start-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上啓動TaskTracker守護進程。
八、在分配的NameNode上，執行下面的命令中止HDFS：
  $ bin/stop-dfs.sh
  bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上中止DataNode守護進程。
九、在分配的JobTracker上，運行下面的命令中止Map/Reduce：
  $ bin/stop-mapred.sh
  bin/stop-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容，在全部列出的slave上中止TaskTracker守護進程。
 
DFSShell
十、建立一個名爲 /foodir 的目錄
  $ bin/hadoop dfs -mkdir /foodir
十一、建立一個名爲 /foodir 的目錄     
  $ bin/hadoop dfs -mkdir /foodir
十二、查看名爲 /foodir/myfile.txt 的文件內容     
  $ bin/hadoop dfs -cat /foodir/myfile.txt

DFSAdmin
1三、將集羣置於安全模式      
  $ bin/hadoop dfsadmin -safemode enter
1四、顯示Datanode列表     
  $ bin/hadoop dfsadmin -report
1五、使Datanode節點 datanodename退役    
  $ bin/hadoop dfsadmin -decommission datanodename
1六、bin/hadoop dfsadmin -help 命令能列出全部當前支持的命令。好比：
    * -report：報告HDFS的基本統計信息。有些信息也能夠在NameNode Web服務首頁看到。
    * -safemode：雖然一般並不須要，可是管理員的確能夠手動讓NameNode進入或離開安全模式。
    * -finalizeUpgrade：刪除上一次升級時製做的集羣備份。
1七、顯式地將HDFS置於安全模式
  $ bin/hadoop dfsadmin -safemode
1八、在升級以前，管理員須要用（升級終結操做）命令刪除存在的備份文件
  $ bin/hadoop dfsadmin -finalizeUpgrade
1九、可以知道是否須要對一個集羣執行升級終結操做。
  $ dfsadmin -upgradeProgress status
20、使用-upgrade選項運行新的版本
  $ bin/start-dfs.sh -upgrade
2一、若是須要退回到老版本,就必須中止集羣而且部署老版本的Hadoop，用回滾選項啓動集羣
  $ bin/start-dfs.h -rollback