CDH使用之CDH 5.3.x安裝

前言：CDH是由Cloudera公司發行的Hadoop版本，全稱（Cloudera's Distribution Including Apache Hadoop）。該版本基於原生Apache Hadoop版本進行改進，添加了補丁和自行開發的組件，更加穩定易用。而且Cloudera公司已將CDH開源，能夠不依靠CM也能夠進行獨立安裝，目前來看在國內市場佔有比重較大。本文采用CM方式進行安裝，安裝環境爲CentOS6.5，暫不介紹獨立安裝方式安裝。

安裝準備 介質準備

• 
  
  

• 
  
  

本文采用parcel包方式安裝，須要下載相關的3個文件。

parcel包地址：http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/

須要下載以下三個文件

若是採用rpm方式安裝，地址爲：

http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.2/

系統配置

• 
  
  

a) 用戶建立

CDH安裝建議使用普通用戶進行安裝，使用root用戶安裝也能夠，安裝完成以後若是有其餘新普通用戶須要使用時，添加到對應的hadoop用戶組(默認組爲supergroup)便可。

建立用戶

# useradd <用戶名稱>

修改密碼

# passwd <用戶名稱>

b) host配置

安裝CDH集羣以前，必須配置hosts,將須要添加到集羣中的機器配置到hosts中：

    # vi /etc/hosts

安裝
安裝方式選擇

• 
  
  

• 
  

  CDH經過CM能夠選擇的安裝方式有采用rpm方式和parcel包方式（官方建議採用parcel包方式安裝，便於後期升級維護），本文介紹parcel包方式。安裝基於CM安裝（CM安裝部分請參看CDH使用之CM 5.3.x安裝）
  

  
  

二、啓動http服務

採用parcel包方式安裝不須要建立repo文件，瀏覽器能夠訪問該地址便可。

啓動http 服務

# service httpd start

查看http服務狀態

# service httpd status

三、開始安裝

    此處從CM安裝完畢首次打開7180端口界面開始進行安裝：

添加主機IP地址，hostname也能夠（主機較多狀況下能夠填crxy[171-179]）,而後點擊搜索。

搜索到主機選擇須要安裝CDH的主機以後點擊繼續：

添加本地parcel包地址（添加時刪除其餘默認網絡地址），其餘存儲路徑默認。

此處若是沒有刷新出對應的CDH版本，檢查是否能正常訪問parcel包相關3個文件，若是能夠正常訪問可是仍然沒有正常刷新的狀況能夠重啓CM server服務，到cm所在機器執行以下命令:

重啓cm server

service cloudera-scm-server restart

重啓cm agent

service cloudera-scm-agent restart

點擊繼續：

開始走進度條，等待一段時間（建議配置內網ip）：

安裝完成：

往主機上分配parcel包：

安裝完成後開始分配服務組件， 選擇自定義（可根據實際須要進行選擇）：

服務節點分配（根據主機硬件配置合理配置）：

填寫存儲目錄，點擊繼續開始首次分配服務：

安裝完成以後調轉到主頁面

服務顯示紅色的狀態，須要添加NTP server時間同步，不適用CDH的時間同步方式關掉便可。如圖方式關閉，保存：

狀態以下，安裝完成。

若是使用普通用戶進行安裝，主機上切換爲普通用戶以後，爲方便使用hadoop shell命令，可使用以下方式在hdfs上建立對應的用戶（用戶名一致）：

建立hdfs用戶

sudo -u hdfs hadoop fs -mkdir /user/test11

爲hdfs用戶賦權

sudo -u hdfs hadoop fs -chown -R test11:test11 /user/test11

四、錯誤定位

注意：若是安裝失敗，須要到/etc/yum.repos.d/目錄查看是否有多餘的repo文件生成，repo文件內容是否正確，而後在點擊重試。

CM安裝部分請參考 CDH使用之CM 5.3.x安裝。

更多精彩內容請關注：http://bbs.superwu.cn

關注超人學院微信二維碼：