1.5.三、CDH 搭建Hadoop在安裝以前(定製安裝解決方案---建立羣集主機的虛擬映像)

建立羣集主機的虛擬映像

您可使用預先部署的Cloudera軟件建立虛擬機映像，例如PXE啓動映像，Amazon AMI和Azure VM映像，這些映像可用於快速啓動虛擬機。這些圖像使用parcel來安裝CDH軟件。本主題描述了建立Cloudera Manager主機和工做主機映像的過程以及如何從這些映像實例化主機。

繼續閱讀：

• 建立預部署的Cloudera Manager主機
• 實例化Cloudera Manager映像
• 建立預部署的工做主機
• 實例化工做者主機

 

建立預部署的Cloudera Manager主機

要建立Cloudera Manager虛擬機映像：

1. 基於支持的操做系統實例化虛擬機映像（若是使用Amazon Web Services，則爲AMI）並啓動虛擬機。有關詳細信息，請參閱虛擬化環境的文檔。
2. 安裝Cloudera Manager並配置數據庫。您能夠配置本地或遠程數據庫。
3. 等待Cloudera Manager管理控制檯變爲活動狀態。
4. 登陸Cloudera Manager管理控制檯。
5. 下載 Cloudera Manager管理的CDH或其餘服務的任何包裹。不要分發或激活包裹。
6. 登陸Cloudera Manager服務器主機：
   1. 運行如下命令以中止Cloudera Manager服務：
      service cloudera-scm-server stop
   2. 運行如下命令以禁用自動啓動 Cloudera-scm-server 服務：
      • RHEL6.x，CentOS 6.x和SUSE：

        chkconfig cloudera-scm-server off 

      • RHEL 7.x / CentOS 7.xx：
        systemctl disable cloudera-scm-server.service
        
      • Ubuntu的：

        update-rc.d -f cloudera-scm-server remove 

7. 建立Cloudera Manager主機的映像。有關詳細信息，請參閱虛擬化環境的文檔。
8. 若是在遠程主機上安裝了Cloudera Manager數據庫，還要建立數據庫主機的映像。注意：確保在建立映像時沒有客戶端使用遠程數據庫。

實例化Cloudera Manager映像

要從虛擬機映像建立新的Cloudera Manager實例，請執行如下操做：

1. 實例化Cloudera Manager映像。
2. 若是Cloudera Manager數據庫將託管在遠程主機上，則還要實例化數據庫主機映像。
3. 確保  cloudera-scm-server 經過在Cloudera Manager主機上運行如下命令，服務未運行：

   service cloudera-scm-server status

   若是它正在運行，請使用如下命令將其中止：
   service cloudera-scm-server stop
4. 在Cloudera Manager主機上，建立一個名爲的文件 UUID 在裏面/ etc /cloudera-scm-serve 目錄。使用如下命令爲此文件添加全局惟一標識符：
   cat /proc/sys/kernel/random/uuid > /etc/cloudera-scm-server/uuid
   此文件的存在通知Cloudera Manager在啓動時從新初始化其本身的惟一標識符。
5. 運行如下命令以啓動Cloudera Manager服務：

   service cloudera-scm-server start

6. 運行如下命令以啓用自動從新啓動 cloudera-scm-serve ：
   • RHEL6.x，CentOS 6.x和SUSE：

     chkconfig cloudera-scm-server on 

   • RHEL 7.x / CentOS 7.xx：

     systemctl enable cloudera-scm-server.service 

   • Ubuntu的：
     update-rc.d -f cloudera-scm-server defaults

 

建立預部署的工做主機

1. 基於支持的操做系統實例化虛擬機映像（若是使用Amazon Web Services，則爲AMI）並啓動虛擬機。有關詳細信息，請參閱虛擬化環境的文檔。
2. 從公共包存儲庫或 已建立的存儲庫下載工做者主機所需的宗地，並將其保存到臨時目錄。請參閱Cloudera Manager版本和下載信息。
3. 從下載包裹的同一位置下載 parcel_name .parcel.sha1 每一個包裹的文件。
4. 計算並比較下載的宗地的sha1，以確保正確下載了宗地。例如：

   sha1sum KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel | awk'{print $ 1}'> KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha diff KAFKA-2.0.2-1.2.0.2.p0.5-el6.parcel.sha1 KAFKA-2.0 .2-1.2.0.2.p0.5-el6.parcel.sha

5. 打開包裹的包裝：
   1. 建立如下目錄：
      • /opt/cloudera/parcels
      • /opt/cloudera/parcel-cache
   2. 設置剛剛建立的兩個目錄的全部權，以便它們由Cloudera Manager代理運行的用戶名擁有。
   3. 使用如下命令設置每一個目錄的權限：

      sudo chmod 755 <directory>

      請注意，這些目錄的內容將公開，而且能夠安全地標記爲世界可讀的。
   4. 做爲運行Cloudera Manager代理的同一用戶運行，使用如下命令從臨時目錄中提取parcel的內容：
      tar -zxvf  <parcel>  -C / opt / cloudera / parcels /
   5. 從每一個宗地的產品名稱添加符號連接到 /opt/cloudera/parcels目錄。
      例如，要連接  /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24  至  / opt / cloudera / parcels /CDH ，使用如下命令：

      sudo ln -s /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24 /opt/cloudera/parcels/CDH
   6. 在啓動時經過添加a來標記Cloudera Manager代理不會刪除宗地 .dont_delete 標記文件（此文件沒有內容）到每一個子目錄 /opt/cloudera/parcels目錄。例如：
      touch /opt/cloudera/parcels/CDH/.dont_delete

6.驗證文件是否存在：

ls -l / opt / cloudera / parcels / <parcel>

您應該看到相似於如下內容的輸出：

ls -al / opt / cloudera / parcels / CDH

total 100
drwxr-xr-x  9 root root  4096 Sep 14 14:53 .
drwxr-xr-x  9 root root  4096 Sep 14 06:34 ..
drwxr-xr-x  2 root root  4096 Sep 12 06:39 bin
-rw-r--r--  1 root root     0 Sep 14 14:53 .dont_delete
drwxr-xr-x 26 root root  4096 Sep 12 05:10 etc
drwxr-xr-x  4 root root  4096 Sep 12 05:04 include
drwxr-xr-x  2 root root 69632 Sep 12 06:44 jars
drwxr-xr-x 37 root root  4096 Sep 12 06:39 lib
drwxr-xr-x  2 root root  4096 Sep 12 06:39 meta
drwxr-xr-x  5 root root  4096 Sep 12 06:39 share

1. 安裝Cloudera Manager代理。若是您尚未這樣作，請執行步驟1：爲Cloudera Manager配置存儲庫。
2. 建立工做主機的映像。有關詳細信息，請參閱虛擬化環境的文檔。

實例化工做者主機

1. 實例化Cloudera工做者主機映像。
2. 編輯如下文件並設置 SERVER_HOST 和 服務器端口 用於引用Cloudera Manager服務器主機的屬性。
3. 若有必要，請執行其餘步驟以配置TLS / SSL。請參閱爲Cloudera Manager配置TLS加密。
4. 啓動代理服務：
   sudo service cloudera-scm-agent start