CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一

系統要求

系統：CentOS 6.5

Cloudera:CM5.2.0 + CDH 5.2.0

內存：主節點4G內存以上，其餘節點須要2G以上內存

Hadoop版本選擇

目前Hadoop比較流行的主要有2個版本，Apache和Cloudera版本。

Apache Hadoop：維護人員比較多，更新頻率比較快，可是穩定性比較差。

Cloudera Hadoop（CDH）：CDH：Cloudera公司的發行版本，基於ApacheHadoop的二次開發，優化了組件兼容和交互接口、簡化安裝配置、增長Cloudera兼容特性。

準備工做

如下步驟要在全部節點上執行

修改hostname vi /etc/sysconfig/network 關閉SELinux 查看SELinux狀態

getenforce 若SELinux沒有關閉，按照下述方式關閉

vi /etc/selinux/config 修改SELinux=disabled。重啓生效，能夠等後面都設置完了重啓主機

This file controls the state of SELinux on the system.

SELINUX= can take one of these three values:

enforcing - SELinux security policy is enforced.

permissive - SELinux prints warnings instead of enforcing.

disabled - SELinux is fully disabled.

SELINUX=disabled

SELINUXTYPE= type of policy in use. Possible values are:

targeted - Only targeted network daemons are protected.

strict - Full SELinux protection.

SELINUXTYPE=targeted 關閉防火牆 sudo service iptables stop sudo chkconfig iptables off sudo chkconfig iptables --list 網絡配置 vim /etc/sysconfig/network-scripts/ifcfg-eth0 設置靜態ip，以及指定ip地址

DEVICE="eth0" BOOTPROTO="static" IPADDR=192.168.1.110 NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" DNS1=8.8.8.8 DNS2=8.8.4.4 GATEWAY=192.168.1.1 修改hosts文件 把全部要添加到集羣中的主機都要加入hosts中，格式以下：

127.0.0.1 localhost

CDH Cluster

192.168.1.110 master 192.168.1.111 slave1 192.168.1.112 slave2 以上步驟執行完畢後，重啓主機

reboot 重啓後再次檢查下以上幾點，確保環境配置正確。

提早下載(本教程中，CM和CDH版本均爲5.2.0)

下載cloudera-manager.repo 修改baseurl中cm版本爲實際版本，本例中改爲5.2.0 [cloudera-manager]

Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64

name=Cloudera Manager baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.2.0/ gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck = 1 下載CM installer 下載CM rpms，目錄下所有下載出來 下載CDH Parcel文件，只須要下載圖中所示的3個文件 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一

CDH文件下載 這裏注意下，將.sha1文件後綴更改成.sha，同時把內容只保留hash碼部分。(5.2.0版本sha文件內容自己就只包含hash碼，不須要修改，其餘版本請自行查看！)

Cloudera Manager安裝

如下步驟要在全部節點上執行：

將cloudera-manager.repo文件拷貝到全部節點的/etc/yum.repos.d/文件夾下 驗證repo文件是否起效 yum list|grep cloudera 若是列出的不是你安裝的版本，執行下面命令重試 yum clean all yum list | grep cloudera 將以前下載的rpms文件拷貝到全部節點下（任意目錄） 切換到rpms目錄下，執行 yum -y install *.rpm 將以前下載的Parcel那3個文件拷貝到/opt/cloudera/parcel-repo目錄下（若是沒有該目錄，請自行建立） 至此，/opt/cloudera/parcel-repo下面有三個文件： CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel mainfest.json CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha 如下步驟請只在主節點上執行：

將下載好的bin文件拷貝到主節點任意目錄下 進入該目錄，給bin文件賦予可執行權限 sudo chmod +x ./cloudera-manager-installer.bin 安裝CM ./cloudera-manager-installer.bin 接下來所有next和yes就好了，由於所須要的rpm包已經提早下載下來了，這個過程會進行的很是快。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM安裝成功

CDH集羣安裝

CM安裝成功後瀏覽器輸入http://ip:7180,ip是CM安裝的主機ip或者主機名。顯示以下界面，用戶名和密碼都輸入admin，進入web管理界面。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM Web管理界面

若是打不開改網頁，請耐心等待會。這個服務啓動是須要必定時間的。

選擇部署的版本，這裏咱們選擇免費版的就能夠了。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM-選擇版本

點擊繼續 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM-介紹

選擇添加的主機。輸入主機ip或者主機名，點擊搜索。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM-選擇主機

這裏若是選擇一系列主機能夠輸入以下的內容：

192.168.1.[101-105] slave[1-3].com.cn 勾選要添加的主機，繼續下一步操做。

選擇存儲庫 這裏咱們採用Parcel離線安裝的方式，安裝簡便、徹底離線並且更便於集羣的管理。

CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM-選擇存儲庫

選擇咱們以前上傳到服務器的CDH5.2.0版本，其餘全選無，下一步。

JDK安裝選項 這裏以前已經安裝過了，因此不須要勾選，直接繼續。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一

CM－JDK安裝 提供SSH登錄憑據 因爲CDH會自動管理全部主機間的SSH通信，因此咱們以前並無手動配置各個節點間的SSH免密登陸。在這裏統一設置就好了，設置好密碼點繼續。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－SSH管理

集羣安裝 由於這裏所須要的軟件包咱們以前都已經安裝過了，這一步會很快結束。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－集羣安裝

CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 安裝完成

安裝Parcel到全部主機上 由於Parcel文件已經提早下載好了，第一個進度條會直接顯示已下載，而後開始分配。這個過程實際上就是將Parcel內的軟件解壓縮安裝到各個主機上的過程。耐心等待，時間會比較長，我安裝2臺主機大概是須要20分鐘時間。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－安裝Parcel

安裝完畢後點繼續

CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 Parcel安裝完畢

主機檢查 檢查就能夠了，建議不要跳過。檢查結果以下： CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 主機檢查

下面這2個都是誤報，不須要理會。

CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 主機檢查2

安裝服務 CDH5提供了你可能須要的各類服務，須要什麼啓動什麼就好了。這裏我選擇了自定義，添加HBase，HDFS，MapReduce和ZooKeeper，這裏你們按照本身的需求選。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－添加服務

角色分配 分配各個節點的角色 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM-角色分配

數據庫設置 CDH默認內嵌了一個數據庫，若是你須要MySQL或者Oracle請選擇使用自定義數據庫，點擊測試鏈接，成功後點繼續。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－數據庫設置

審覈更改 這裏所有默認就能夠了，直接繼續。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－審覈更改

安裝完成，初始化 到這裏集羣已經安裝部署完成了，CDH會自動對你選擇的服務進行初始化設置，你也能夠稍後自行開啓。 CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－初始化

初始化完成後，將進入主頁面

CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 CM－主頁

由於咱們只安裝了2臺主機，而HDFS和ZooKeeper建議至少3個節點，因此頁面上有一些警告，這些都不影響。到此，CDH集羣部署完成。

問題彙總

一、安裝過程當中遇到如下提示

Detecting Cloudera Manager Server... Detecting Cloudera Manager Server... BEGIN host -t PTR 192.168.1.198 198.1.168.192.in-addr.arpa domain name pointer localhost. END (0) using localhost as scm server hostname BEGIN which python /usr/bin/python END (0) BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182 Traceback (most recent call last): File "", line 1, in File "", line 1, in connect socket.error: [Errno 111] Connection refused END (1) could not contact scm server at localhost:7182, giving up waiting for rollback request 在失敗的主機上，終端執行

mv /usr/bin/host /usr/bin/host.bak 而後重試。

二、安裝過程一直卡在"正在獲取安裝鎖"

在卡住的主機上，刪除/tmp文件夾中的全部scm_prepare_node.開頭的文件，清空yum緩存，而後重啓主機。

cd /tmp rm -rf scm_prepare_node.* yum clean all reboot 三、安裝完畢後NameNode格式化失敗，報一下錯誤

IncorrectVersionException: Unexpected version of storage directory /data/dfs 刪除NameNode節點的/data/dfs文件夾，從新添加主機。

四、如何更改節點ip

從新設置每臺主機的hosts文件，完成後進入主機界面，點擊從新運行升級嚮導，再走一遍以前的流程便可。

CDH5安裝指南，網友回覆：最靠譜的安裝指南沒有之一 寫在最後：

碼字不易看到最後了，那就點個關注唄，只收藏不點關注的都是在耍流氓！

關注並私信我「架構」，免費送一些Java架構資料，先到先得！