HDFS經常使用命令

1. 文件操做

(1) 列出HDFS下的文件node

/usr/local/hadoop$bin/hadoop dfs -ls

(2) 列出HDFS文件下名爲in的文檔中的文件安全

/usr/local/hadoop$bin/hadoop dfs -ls in

(3) 上傳文件負載均衡

將hadoop目錄下的test1文件上傳到HDFS上並重命名爲test:oop

/usr/local/hadoop$bin/hadoop dfs -put test1 test

(4) 文件被複制到本地系統中spa

將HDFS中的in文件複製到本地系統並命名爲getin:code

/usr/local/hadoop$bin/hadoop dfs -get in getin

(5) 刪除文檔blog

刪除HDFS下名爲out的文檔:hadoop

/usr/local/hadoop$bin/hadoop dfs -rmr out

(6) 查看文件文檔

查看HDFS下in文件中的內容:get

/usr/local/hadoop$bin/hadoop dfs -cat in/*

(7) 創建目錄

/usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples(目錄/目錄名)

只能一級一級的建目錄。

(8) 複製文件

/usr/local/hadoop$bin/hadoop dfs -copyFromLocal 源路徑 路徑

(9)經過Hadoop命令把兩個文件的內容合併起來

hdfs dfs -getmerge 位於hdfs中的原文件(裏面有多個文件) 合併後的文件名
例如: hdfs dfs
-getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

 注:合併後的文件位於當前目錄,不在hdfs中,是本地文件

2. 管理與更新

(1) 執行基本信息

查看HDFS的基本統計信息:

/usr/local/hadoop$bin/hadoop dfsadmin -report

(2) 退出安全模式

NameNode在啓動時會自動進入安全模式。安全模式是NameNode的一種狀態,在這個階段,文件系統不容許有任何修改。

系統顯示Name node in safe mode,說明系統正處於安全模式,這時只須要等待十幾秒便可,也可經過下面的命令退出安全模式:

/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave

(3) 進入安全模式

在必要狀況下,能夠經過如下命令把HDFS置於安全模式:

/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter

(4)節點添加

添加一個新的DataNode節點,先在新加節點上安裝好Hadoop,要和NameNode使用相同的配置(能夠直接從NameNode複製),修改$HADOOP_HOME/conf/master文件,加入NameNode主機名。而後在NameNode節點上修改$HADOOP_HOME/conf/slaves文件,加入新節點名,再創建新加節點無密碼的SSH鏈接,運行啓動命令爲:

/usr/local/hadoop$bin/start-all.sh

(5)負載均衡

HDFS的數據在各個DataNode中的分佈可能很不均勻,尤爲是在DataNode節點出現故障或新增DataNode節點時。新增數據塊時NameNode對DataNode節點的選擇策略也有可能致使數據塊分佈不均勻。用戶能夠使用命令從新平衡DataNode上的數據塊的分佈:

/usr/local/hadoop$bin/start-balancer.sh
相關文章
相關標籤/搜索