CentOS7安裝CDH 第七章：CDH集羣Hadoop的HA配置

相關文章連接

CentOS7安裝CDH 第一章：CentOS7系統安裝

CentOS7安裝CDH 第二章：CentOS7各個軟件安裝和啓動

CentOS7安裝CDH 第三章：CDH中的問題和解決方法

CentOS7安裝CDH 第四章：CDH的版本選擇和安裝方式

CentOS7安裝CDH 第五章：CDH的安裝和部署-CDH5.7.0

CentOS7安裝CDH 第六章：CDH的管理-CDH5.12

CentOS7安裝CDH 第七章：CDH集羣Hadoop的HA配置

CentOS7安裝CDH 第八章：CDH中對服務和機器的添加與刪除操做

CentOS7安裝CDH 第九章：CDH中安裝Kafka

CentOS7安裝CDH 第十章：CDH中安裝Spark2

CentOS7安裝CDH 第十一章：離線升級CDH版本

CentOS7安裝CDH 第十二章：YARN的資源調優

CentOS7安裝CDH 第十三章：CDH資源池配置

CentOS7安裝CDH 第十四章：CDH的優化

1. HDFS的HA配置

一、在HDFS的的服務中點擊啓動High Availability

二、設置NameService的名稱

三、分配HDFS的HA所須要的角色

NameNode        主機:nn1 、nn2

JoumalNode      主機:nn1 、nn2 、dn1

四、審覈更改(JournalNode的編輯目錄)

五、安裝必要的服務

六、安裝服務過程當中的一個error

此爲正常現象，先前那個單節點是有數據的，因此不會格式化，因此報錯。

七、安裝完成

2. HDFS中的2個經常使用命令

一、hdfs haadmin命令

[root@i-bsbhj3uw ~]# hdfs haadmin

Usage: DFSHAAdmin [-ns <nameserviceId>]

    [-transitionToActive <serviceId> [--forceactive]]

    [-transitionToStandby <serviceId>]

    [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]

    [-getServiceState <serviceId>]

    [-checkHealth <serviceId>]

    [-help <command>]

二、hdfs fsck命令

[hdfs@i-bsbhj3uw ~]$ hdfs fsck

Usage: DFSck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]

       <path>   start checking from this path

       -move    move corrupted files to /lost+found

       -delete   delete corrupted files

       -files      print out files being checked

       -openforwrite      print out files opened for write

       -includeSnapshots      include snapshot data if the given path~

       -list-corruptfileblocks print out list of missing blocks and files they belong to

       -blocks   print out block report

       -locations     print out locations for every block

       -racks    print out network topology for data-node locations

       -blockId print out which file this blockId belongs to, locations (nodes, racks) ~

應用場景：當在上傳文件到HDFS中時，碰到忽然斷電等突發操做，服務器重啓後會發現hdfs啓動不了，可使用hdfs fsck命令查找到其中腐敗的塊。

而後使用hdfs fsck -delete /腐敗的塊的位置將該塊刪除，就能夠重啓HDFS了。

3. Yarn的HA配置

一、在HDFS的的服務中點擊啓動High Availability

二、選擇Yarn高可用所須要的主機

三、安裝Yarn高可用所須要的服務

四、Yarn高可用安裝成功

4. Yarn中的經常使用命令

一、查看Yanr中所用正在運行的程序

　　yarn application -list

二、kill掉經過yarn提交的spark的實時程序

　　yarn application -kill application_1541073817208_0238

三、查看yarn中的一個程序的任務日誌（有些日誌只能這樣查看，在web界面的log中顯示不出來）

　　yarn logs -applicationId application_1541073817208_0677 |grep  "查找的內容"