Cloudera Certified Associate Administrator案例之Install篇

　　　　　Cloudera Certified Associate Administrator案例之Install篇

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　做者：尹正傑

版權聲明：原創做品，謝絕轉載！不然將追究法律責任。

 

 

 

一.建立主機模板（爲了給主機套用，說白了就是給新加入集羣的節點提早分配好角色）

問題描述：
　　公司新購了一批機器，準備擴充DataNode節點。你決定用CM的host template功能來爲新機器配置DataNode通用的服務。新節點須要做爲HDFS和YARN的工做節點，所以模板的設計以下：
　　　　名稱：Temp1
　　　　HDFS roles：Datanode
　　　　YARN roles：NodeManager
   要求須要套用HDFS和YARN的Default Group的配置

解決方案：
　　在企業級實戰中，集羣擴容時常見且重要的操做，若是手工一臺一臺操做，不只效率地下，並且容易出錯。
　　CM提供了多種機制來簡化擴容操做，其中host template就是其中重要的一種，經過該特性，能夠大大簡化工做節點的配置（對於管理節點，工具節點，邊緣節點，若是有多臺配置徹底同樣，也可使用該特性來擴容），如Datanode，Nodemanager，Kafka Broker等。

1>.點擊主機，選擇"主機模板"

2>.點擊建立

3>.自定義模板名稱並選擇對應的角色和組

4>.建立成功

 

 

二.建立角色組

問題描述：
　　公司新購了一批機器，準備擴充DataNode節點。然而，新機器的硬件配置和舊機器有一些差別。你決定爲舊機器建立一個角色組，設置合適的配置。新機器繼續使用默認的組（Default Group）的配置，就如前面咱們配置的模板同樣。新角色組的需求爲：
　　　　命名爲DN1,先繼承默認的角色組的配置，並使用舊機器套用DN1的配置。而後要變動一些參數，DN1的Default Group的DataNode Volume Choosing Policy參數都必須設置爲Avaliable Space。
　　　　Default Group的Available Space Policy Balanced Preference參數須要設置爲0.85，DN1的Available Space Policy Balanced Preference參數設置爲0.8。

解決方案：
　　異構集羣是Hadoop運維中比較棘手的一個問題，所以咱們推薦你們在新建集羣時儘可能使用相同的硬件（工做節點）以免各類麻煩。但現實中因爲企業規劃不佳，採購限制等諸多緣由，極可能出現異構的狀況，所以咱們須要具有必定的應對能力。

1>.使用正確的用戶名密碼登陸CM界面,點擊hdfs服務

2>.進入HDFS服務管理界面後，點擊"配置"，再點擊"角色組"

3>.點擊"建立"按鈕來建立一個自定義的角色組

4>.編輯角色組信息

5>.查看Datanode默認組的節點信息

6>.以下圖所示，點擊「移至另外一個角色組」

7>.點擊"移動"

8>.默認角色組已經移動到我們剛剛新建的dn1角色組，但須要重啓才能生效，咱們不着急重啓，繼續看下一步操做。

 

9>.搜索關鍵字"DataNode Volume Choosing Policy"

10>.搜索關鍵字「Available Space Policy Balanced Preference」

11>.作完上述操做後，咱們須要重啓HDFS集羣，使得配置生效

 

 

三.將新節點加入集羣

問題描述：
    正式地將新節點加入集羣。咱們須要將node107.yinzhengjie.org.cn這個節點加入CM的託管，並套用Temp1這個主機模板從而加入集羣。

解決方案：
　　在實踐中集羣擴容，損壞硬件更換時都設計到這個操做，所以也要熟練掌握。

咱們假設將要加入集羣的主機已經配置好環境並啓動Cloudera Manager Agent進程，詳情請參考：https://www.cnblogs.com/yinzhengjie/articles/11019525.html

1>.點擊「全部主機」

2>.點擊"向集羣添加新主機"

3>.進入"添加主機嚮導"

4>.爲CDH集羣安裝指定主機

5>.等待主機激活完畢後，點擊"繼續"

6>.點擊繼續 

7>. 選擇我們以前建立的主機模板（您選中的模板有對應的角色，而新加入的節點未來就會繼承該主機模板的角色）

8>.等待集羣重啓完畢

9>.主機擴展成功（須要注意的是，若是在第7步驟沒有選擇對應的主機模板也沒事，只要agent成功加入集羣后，咱們選中相應的節點並點擊下圖的"已選定操做"，選擇"應用主機模板"選項就有對應的你以前建立的模板供你選擇，選擇主機模板後別忘記順便勾選"應用主機模板後部署客戶端配置並啓動新建立的角色。"屬性）

 

四.移除CDH集羣的節點

 

參考自：https://www.jianshu.com/p/00fe996ee325

 

1>.點擊"主機"，選擇"全部主機"

2>.勾選須要下線的主機

3>.咱們點擊"已選定的操做"（英文爲"Actions for Selected "），選擇"Begin Maintenance"(表示進入維護模式，進入維護模式會聽到該主機的服務)

4>.點擊"Begin Maintenance"

5>.主機進行受權命令

6>.主機進入維護模式，咱們須要手動停掉agent進程

7>.選擇從集羣中刪除

8>.點擊確認

9>.刪除主機上的角色

 

10>.

 

11>.

 

 

 

五.