hadoop2.X使用手冊1：經過web端口查看主節點、slave1節點及集羣運行狀態

時間 2019-11-19

標籤 hadoop2.x hadoop 使用手冊經過 web 端口查看節點 slave1 slave 集羣運行狀態欄目 Hadoop 简体版

原文原文鏈接

問題導讀：
1.如何經過web查看hdfs集羣狀態
2.如何經過web查看運行在在主節點master上ResourceManager狀態
3.如何經過web查看運行在在slave節點NodeManager資源狀態
4.JobHistory 能夠查看什麼信息

本文是在hadoop2的基礎上hadoop2徹底分佈式最新高可靠安裝文檔的一個繼續。
hadoop2.2安裝完畢，咱們該怎麼使用它，這裏作一些簡單的介紹

1、能夠經過登陸Web控制檯，查看HDFS集羣狀態，訪問以下地址： html

http://master:50070/

複製代碼node

來源：
組件       ：HDFS
節點       ：NameNode
默認端口：50070
配置       ：dfs.namenode.http-address
用途說明：http服務的端口

hadoop2.x經常使用端口及定義方法（可收藏方便之後查詢）

2、ResourceManager運行在主節點master上，能夠Web控制檯查看狀態
web

http://master:8088/

複製代碼shell

若是你的主機名不是master，按照下面格式來訪問。
express

http://ip地址:8088/

複製代碼app

或則webapp

http://hostname:8088/

複製代碼分佈式

這裏介紹8088的來源：

yarn-site.xml中的屬性：ide

<property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>master:8088</value>
   </property>

3、NodeManager運行在從節點上，能夠經過Web控制檯查看對應節點的資源狀態，例如節點slave1：oop

http://slave1:8042/

複製代碼

來源：
組件       ：YARN
節點       ：NodeManager
默認端口：8042
配置       ：yarn.nodemanager.webapp.address
用途說明：http服務端口

4、管理JobHistory Server
啓動能夠JobHistory Server，可以經過Web控制檯查看集羣計算的任務的信息，執行以下命令：

mr-jobhistory-daemon.sh start historyserver

複製代碼

默認使用19888端口。
經過訪問http://master:19888/

來源：
組件       ：YARN
節點       ：JobHistory Server
默認端口：19888
配置       ：mapreduce.jobhistory.webapp.address
用途說明：http服務端口

以上全部端口均可以從hadoop2.x經常使用端口及定義方法（可收藏方便之後查詢）文章中找到。

終止JobHistory Server，執行以下命令：

mr-jobhistory-daemon.sh stop historyserver

複製代碼

問題導讀
1.Hadoop文件系統shell與Linux shell有哪些類似之處？
2.如何改變文件所屬組？
3.如何改變hdfs的文件權限？
4.如何查找hdfs文件，而且不區分大小寫？

概述
文件系統 (FS) shell 包括各類相似的命令直接與 Hadoop Distributed File System (HDFS)交互。hadoop也支持其它文件系統,好比 Local FS, HFTP FS, S3 FS, 和其它的. FS shell被下面調用:

[Bash shell] 純文本查看 複製代碼

1	`bin/hadoop` `fs <args>`

全部的FS shell命令帶有URIs路徑參數。The URI 格式是://authority/path。對 HDFS文件系統，scheme是hdfs。其中scheme和 authority參數都是可選的
若是沒有指定，在文件中使用默認scheme.一個hdfs文件或則目錄好比 /parent/child，能夠是 hdfs://namenodehost/parent/child 或則簡化爲/parent/child（默認配置設置成指向hdfs://namenodehost）.大多數FS shell命令對應 Unix 命令.每一個命令都有不一樣的描述。將錯誤信息發送到標準錯誤輸出和輸出發送到stdout。

appendToFile【添加文件】

用法: hadoop fs -appendToFile <localsrc> ... <dst>添加單個src,或則多個srcs從本地文件系統到目標文件系統。從標準輸入讀取並追加到目標文件系統。

hadoop fs -appendToFile localfile /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.

返回代碼:
返回 0成功返回 1 錯誤

cat

用法: hadoop fs -cat URI [URI ...]
將路徑指定文件的內容輸出到stdout

例子:

hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
hadoop fs -cat file:///file3 /user/hadoop/file4

返回代碼:
返回 0成功返回 1 錯誤

checksum
用法: hadoop fs -checksum URI
返回 checksum 文件信息
例子:

hadoop fs -checksum hdfs://nn1.example.com/file1
hadoop fs -checksum file:///etc/hosts

chgrp
用法: hadoop fs -chgrp [-R] GROUP URI [URI ...]
改變文件所屬組. 必須是文件全部者或則超級用戶. 更多信息在 Permissions Guide.
選項

chmod
用法: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
更改文件的權限. 使用-R 將使改變在目錄結構下遞歸進行。必須是文件全部者或則超級用戶. 更多信息在 Permissions Guide.
選項

chown
用法: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
更改文件的全部者. 使用-R 將使改變在目錄結構下遞歸進行。必須是文件全部者或則超級用戶. 更多信息在 Permissions Guide.
選項

copyFromLocal
用法: hadoop fs -copyFromLocal <localsrc> URI
相似put命令, 須要指出的是這個限制是本地文件
選項:

-f 選項會重寫已存在的目標文件

copyToLocal
用法: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
與get命令相似, 除了限定目標路徑是一個本地文件外。

count
用法: hadoop fs -count [-q] [-h] [-v] <paths>統計目錄個數，文件和目錄下文件的大小。輸出列：DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME
【目錄個數，文件個數，總大小，路徑名稱】

輸出列帶有 -count -q 是: QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, PATHNAME
【配置，其他指標，空間配額，剩餘空間定額，目錄個數，文件個數，總大小，路徑名稱】
The -h 選項，size可讀模式.
The -v 選項顯示一個標題行。
Example:

hadoop fs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2
hadoop fs -count -q hdfs://nn1.example.com/file1
hadoop fs -count -q -h hdfs://nn1.example.com/file1
hdfs dfs -count -q -h -v hdfs://nn1.example.com/file1

返回代碼:
返回 0成功返回 1 錯誤

cp
用法: hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>複製文件，這個命令容許複製多個文件到一個目錄。
‘raw.*’ 命名空間擴展屬性被保留
（1）源文件和目標文件支持他們（僅hdfs）
（2）全部的源文件和目標文件路徑在 /.reserved/raw目錄結構下。
決定是否使用 raw.*命名空間擴展屬性依賴於-P選項

選項:

-f 選項若是文件已經存在將會被重寫.
-p 選項保存文件屬性 [topx] (timestamps, ownership, permission, ACL, XAttr). 若是指定 -p沒有參數, 保存timestamps, ownership, permission. 若是指定 -pa, 保留權限由於ACL是一個權限的超級組。肯定是否保存raw命名空間屬性取決因而否使用-p決定

例子:

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

返回代碼:
返回 0成功返回 1 錯誤

createSnapshot
查看 HDFS Snapshots Guide.

deleteSnapshot
查看 HDFS Snapshots Guide.

df【查看還剩多少hdfs空間】
用法: hadoop fs -df [-h] URI [URI ...]
顯示剩餘空間
選項:

-h 選項會讓人更加易讀 (好比 64.0m代替 67108864)

Example:

hadoop dfs -df /user/hadoop/dir1

du
用法: hadoop fs -du [-s] [-h] URI [URI ...]顯示給定目錄的文件大小及包含的目錄，若是隻有文件只顯示文件的大小
選項:

-s 選項彙總文件的長度，而不是現實單個文件.
-h 選項顯示格式更加易讀 (例如 64.0m代替67108864)

例子:

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1

返回代碼:
返回 0成功返回 1 錯誤

dus
用法: hadoop fs -dus <args>
顯示統計文件長度
注意:這個命令已被啓用， hadoop fs -du -s便可

expunge
用法: hadoop fs -expunge
清空垃圾回收站. 涉及 HDFS Architecture Guide 更多信息查看回收站特色

find
用法: hadoop fs -find <path> ... <expression> ...查找與指定表達式匹配的全部文件，並將選定的操做應用於它們。若是沒有指定路徑，則默認查找當前目錄。若是沒有指定表達式默認-print

下面主要表達式:

-name 模式
-iname 模式

若是
值爲TRUE若是文件基本名匹配模式使用標準的文件系統組合。若是使用-iname匹配不區分大小寫。

-print
-print0Always
值爲TRUE. 當前路徑被寫至標準輸出。若是使用 -print0 表達式, ASCII NULL 字符是追加的.

下面操做:

expression -a expression
expression -and expression
expression expression

and運算符鏈接兩個表達式,若是兩個字表達式返回true,則返回true.由兩個表達式的並置暗示，因此不須要明確指定。若是第一個失敗，則不會應用第二個表達式。

例子:
hadoop fs -find / -name test -print
返回代碼:
返回 0成功返回 1 錯誤

get
用法: hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>複製文件到本地文件。
複製文件到本地文件系統. 【CRC校驗失敗的文件複製帶有-ignorecrc選項（如翻譯有誤歡迎指正）】
Files that fail the CRC check may be copied with the -ignorecrc option.

文件CRC能夠複製使用CRC選項。

例子: