CentOS7安裝CDH 第八章：CDH中對服務和機器的添加與刪除操做

時間 2019-12-01

標籤 centos7 centos 安裝 cdh 第八服務機器添加刪除欄目 Tomcat 简体版

原文原文鏈接

1. CDH動態添加機器

1.2. 對新機器的環境配置

一、配置新機器的JDK環境，保持和其餘機器一致，可參考上述JDK的安裝；

二、關閉防火牆，若是在線上環境要開放好端口；

三、上傳MySQL的鏈接Jar包；

四、修改原有集羣的全部機器的/etc/hosts，將新機器的對應ip添加進去：

　　echo 「192.168.12.120 centos.ouyang.com」 >> /etc/hosts

五、將老機器中的/etc/hosts中ip地址對應的主機名的內容複製到新機器上；

六、檢查新機器的python版本，要和老機器保持一致；

七、配置新機器的yum源，能夠直接到老機器上覆制便可；

　　cd /etc/yum.repos.d/

　　scp cloudera-manager.repo 192.168.12.120:/etc/yum.repos.d/

注意：

一、在添加其餘機器時操做系統和原機器的操做系統要保持版本一致；

二、若是使用jar包安裝JDK，安裝地址爲/usr/java目錄下，其餘目錄下會報錯；

三、上傳的MySQL鏈接Jar包需上傳到/usr/share/java目錄下；

四、安裝JDK時建議使用上述的rpm包安裝，這樣會將python更新一下；

1.2. 在CDH的web界面添加新機器

一、點擊向集羣中添加新主機按鈕

二、添加主機嚮導

三、輸入新機器的IP地址搜索新機器，若是是使用阿里雲等雲服務機器，請輸入內網IP，在阿里雲上，內網速度比外網快不少

四、搜索到新機器，點擊繼續按鈕

五、選擇自定義存儲庫，自定義存儲庫中的地址就是yum源配置的地址，能夠經過cat cloudera-manager.repo命令查看，將其中的baseurl的地址複製進去便可，請注意其中的協議要爲http，不能是https

六、不安裝自帶JDK，點擊下一步

七、輸入用戶的密碼

八、在新添加的機器中安裝agent（這是拼人品的時候，遇到問題請查看日誌，而後解決問題，再從新安裝），安裝成功後點擊繼續按鈕

注意：若是在安裝過程當中，點擊了停止按鈕，此時須要到命令行端，執行ps -ef | grep yum命令，查找到對應的yum進程，並kill掉，再去web界面從新安裝，不然不能從新安裝成功，在web界面停止，不會把yum源徹底關閉，須要在命令行界面完全關閉才行

九、安裝選定的包，安裝完成以後點擊繼續按鈕

十、進行主機檢查，能夠參考上述的CDH安裝中，設置大頁面和swap

十一、選擇主機模板，通常是不選擇模板的，先添加一臺空機器進入集羣中

十二、部署客戶端配置，點擊繼續按鈕便可

1三、添加成功

2. CDH動態添加服務

一、選擇對應服務中的添加角色實例按鈕（以HDFS爲例）

二、爲要添加的服務選擇具體的主機（以DataNode爲例）

三、審覈更改DataNode的數據目錄和容忍DataNode能夠失敗的卷（請注意CentOS中掛載的其餘磁盤，若是沒有掛載其餘磁盤，就以下所示，當磁盤容量充足時，不須要添加其餘的目錄，保留以下目錄便可）

四、從新部署客戶端配置

按照流程往下走便可，其中的從新部署客戶端配置選項必定要選，以下圖：

五、重啓過期服務，重啓以後點擊完成便可

六、添加完成，在主界面有一些配置等小問題須要更改，請根據具體狀況進行修改便可，例在HDFS中添加了一個DataNode，此時HDFS中的塊能夠備份爲3個，CDH就會提示進行修改，以下圖所示，但在生產環境中最好不要修改配置，由於修改配置後有重啓服務的提示，一不當心重啓服務在生產環境中會形成很差的後果（注：生產環境中通常狀況下不要重啓服務，若是必定要重啓服務請在晚上等業務較少時再進行操做）

七、若是碰到以下狀況，新添加的服務仍是沒有啓動，能夠手動啓動

3. CDH的遷移服務

一、場景一，A機器的磁盤快滿了，新添加了B機器（大磁盤）到集羣上：

此時，須要在B機器上添加DN，並刪除A機器的DN，但當在B機器上添加DN，並刪除A機器的DN時，HDFS集羣會自動修復數據，即會保持HDFS中的block塊備份爲3個，此時會有不少數據經過B機器的DN寫入到B機器的磁盤中，會佔大量的網絡和磁盤IO，此時應該評估B機器的磁盤是否夠用（預估2年後的數據量，B機器磁盤是否能裝下），是否處於業務低谷，即會不會影響Job的執行。

二、場景二，HDFS中log分區的數據備份：

將存儲到HDFS中6個月前的冷數據遷移到 aws s3 / aliyun oss / 或另外的集羣上，達到數據備份並清理集羣中機器磁盤的目的。

三、注意：

　　a) 有些服務不能遷移（如DataNode），只能在新機器上添加服務，再在老機器上刪除服務。

　　b) 在遷移服務時會重啓集羣上的該服務，因此應該選擇在業務低谷中對服務進行遷移。

　　c) 在HDFS中，有balancer平衡器對各個機器中的數據進行平衡，但當一個機器中的數據太多時（另外還有個機器的數據不多），使用平衡器不會將該機器中的數據移除太多，只會移除比較少的一部分，因此通常是在新機器上添加服務，將老機器上的服務刪除。