Cloudera Manager5及CDH5在線安裝（cloudera-manager-installer.bin）



1、  準備工做

 

1.    需求條件

• 網速好

由於是線上安裝，因此要求要有比較大的帶寬，特別是並行安裝臺服務器時。

 

• 網絡穩

一旦網絡中斷，可能你花費了半天或則一天的時間，就有可能會浪費，而後重裝。

 

• 內存大

最少要求10G以上內存，特別NameNode節點分配的角色較多，佔用內存會更多。

 

2.    安裝環境

 

安裝版本

OS：CentOS 6.7

CM：Cloudera Manager5.7

CHD：Cloudera Hadoop 5.7（Hadoop2.6.0,Hbase1.2.0,Hive1.1.0）

 

注：

初步準備6臺服務器安裝，後面可根據須要再添加新服務器到集羣中

 

3. 系統配置

 

1. 修改每臺/etc/hosts文件

 

1. 每臺都要安裝ssh

# yum install ssh

 

1. 修改/usr/bin/host文件名

# mv /usr/bin/host /usr/bin/host.bak

 

1. 修改swappiness參數配置

--臨時生效配置

# echo 0 > /proc/sys/vm/swappiness

--永久生效配置

[root@hadoop0 ~]# cat /etc/sysctl.conf

vm.swappiness = 0

 

 

2、Cloudera Manager安裝

 

1.      下載cloudera-manager-installer.bin

下載地址：

http://archive.cloudera.com/cm5/installer/5.7.0/

 

2.      執行並安裝CM

--賦予腳本執行權限

# chmod u+x cloudera-manager-installer.bin

 

--執行腳本啓動安裝界面

# export DISPLAY=192.168.1.198:0.0

# ./cloudera-manager-installer.bin

 

彈出安裝界面後，贊成點Next就能夠：

 

 

Next:

Next:

Next:

Next:

 

開始安裝：

 

 

安裝完成：

 

安裝完成彈出的對話框：

Your browser should now open tohttp://localhost:7180/. Log in to Cloudera Manager with the username andpassword set to 'admin' to continue installation.

 

在安裝cloudera-server的pc機下，輸入下面網址便可訪問：

http://localhost:7180/

 

 

上面點擊close，會自動訪問。關閉瀏覽器後，會看到下圖

 

 

http://ip:7180/ 登陸界面：

輸入用戶名和密碼

用戶名：admin

密碼： admin

 

這樣cloudera-manager-server就已經安裝成功了。

 

 

3、Cloudera Hadoop集羣安裝

 

1.     選擇CM版本

首先登陸http://localhost:7180/管理界面，選擇ClouderaHadoop版本和指定主機

 

 

咱們選擇ClouderExpress。
固然你選擇ClouderEnterprise試用版也能夠。關於Clouder Express和Clouder Enterprise的區別見文章：

http://bananalighter.com/cloudera-manager-express-vs-enterprose/

 

單擊繼續

 

2.     選擇要安裝CDH的主機

注：使用主機名的通配符或是用逗號隔開全部主機名，可點擊模式查看格式。

 

都選中後，點擊繼續

 

3.     選擇CDH存儲庫

 

 

 

 

4.      配置 Java 加密

 

5.     選擇用戶模式

 

不用單用戶模式安裝：

 

6.     SSH登陸主機

 

這裏選用的是root，而且接受相同的密碼。

 

注：

指定主機的 SSH 登陸方式

一種經過root用戶，密碼須要一致，剛開始安裝建議使用root。

也可使用非root用戶，可是須要保證sudo無密碼訪問

實現方法以下：

給aboutyun用戶設置無密碼sudo權限：

# chmod u+w /etc/sudoers

grid ALL=(root)NOPASSWD:ALL

# chmod u-w /etc/sudoers

測試：sudo ifconfig

 

7.     集羣安裝（jdk,agent）

這一步很重要，主要下載安裝jdk,agent包，在線安裝可能花的時間比較長，也有可能會由於主機配置不當，或是網絡緣由會下載安裝失敗，安裝失敗後要卸載重裝。遇到的問題也在後面作了總結。

 

安裝完成後通訊就成功了。

 

這步可能遇到的問題比較多，下面是一結錯誤總結：

http://www.aboutyun.com/thread-9293-1-1.html

 

 

8.     安裝Parcel包

關於Parcel的做用和原理見：

 

9.     檢查主機正確性

 

 

 

Cloudera 建議將 /proc/sys/vm/swappiness 設置爲 0。當前設置爲 60。使用sysctl 命令在運行時更改該設置並編輯 /etc/sysctl.conf 以在重啓後保存該設置。您能夠繼續進行安裝，但可能會遇到問題，Cloudera Manager 報告您的主機因爲交換運行情況不佳。如下主機受到影響：

 

解決辦法：

# echo 0 > /proc/sys/vm/swappiness

# vi /etc/rc.local

echo 0 > /proc/sys/vm/swappiness

 

 

已啓用透明大頁面壓縮，可能會致使重大性能問題。請運行「echo never> /sys/kernel/mm/transparent_hugepage/defrag」以禁用此設置，而後將同一命令添加到 /etc/rc.local 等初始腳本中，以便在系統重啓時予以設置。如下主機將受到影響： 

hadoop[0-5].hadoop.com

 

解決：

# echo never> /sys/kernel/mm/transparent_hugepage/defrag

# vi /etc/rc.local

echo never >/sys/kernel/mm/transparent_hugepage/defrag

 

 

問題：

IOException thrown while collecting data from host: No route to host

緣由：agent開啓了防火牆

解決：service iptables stop（不推薦）

 

 

 

10. 集羣設置

選擇要安裝的服務，根據本身服務器性能和須要設置

 

分配角色：

 

 

 

 

 

數據庫設置：

這裏默認的是內嵌的PostgreSQL數據

Hive/cHHjYGNhGs

 

Oozie:oozie_oozie_server/n5wSvDW71N

 

點擊測試鏈接檢查是否鏈接成功。

 

 

審覈更改：

這裏修改要安裝服務的配置參數

 

 

11. 啓動服務

最後設置完成後啓動服務

 

完成後能夠主機頁面看到已經成功安裝的主機列表：

 

4、向集羣中添加新主機

在主機列表頁面點擊「向羣集中添加新主機」

 

1.    選擇集羣

 

選擇羣集名：

 

2.    安裝CDH

 

下面步驟和上面安裝CDH的步驟同樣：