Cloudera Manager和CDH裝過程(5.14.1)

Cloudera Manager和CDH裝過程

安裝Cloudera Manager

下載Cloudera Manager腳本（後面我簡稱爲cm或CM），並安裝

這個過程會從yum下載安裝包，這安裝包很大，因此能夠本身搭建yum庫，從而減小安裝時間，能夠拖到本文最下面查看‘本地安裝yum庫’

$ wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin

$ chmod u+x cloudera-manager-installer.bin
# 若是從yum安裝則這命令
$ sudo ./cloudera-manager-installer.bin
# 若是是本地yum庫安裝則要加上 --skip_repo_package=1
$ sudo ./cloudera-manager-installer.bin --skip_repo_package=1

安裝完後訪問http://Server host:7180，默認帳號密碼是admin和admin

能夠查看頁面服務器有沒運行正常

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

給各臺服務起安裝cdh，在頁面輸入

a.centos7.com,b.centos7.com,c.centos7.com

若是是有序號的域名也能夠：

10.1.1.[1-4] 或 host[1-3].company.com

發現hosts後，cm會給每臺hosts安裝agent，這跟zabbix很像，主cm的是server，其餘cm爲agent的。
jdk能夠選擇安裝或不安裝，不按照則用本地的jdk。
cm安裝完agent和jdk後，會安裝CDH parcel
上述步驟走完以後，不要安裝服務器先，直接完成便可。

安裝CDH

在集羣裏添加服務，既能夠安裝CDH，可選擇有如下服務組合：

我實驗過程當中，它提供的組合我是完成不到，因此我選擇自定義服務，安裝了Zookeeper, YARN, HDFS, HBase.

注：服務器之間可能須要免密碼登陸，或本身實驗需自定義hosts文件，或者批量執行關閉防火牆命令，關閉selinux之類的，每部機操做都很浪費時間，因此我提供了shell腳原本解決這個問題，點擊git傳送門。

本地安裝yum庫

需本身搭建一個yum庫，用臨時方案
下載壓縮包,很大，940M

nohup wget http://archive.cloudera.com/cm5/repo-as-tarball/5.14.1/cm5.14.1-centos7.tar.gz &

解壓修改權限

[root@localhost tmp]$ tar xvfz cm5.0.0-centos6.tar.gz
[root@localhost tmp]$ chmod -R ugo+rX /tmp/cm

啓動Python的http服務

$ python -m SimpleHTTPServer 8900
Serving HTTP on 0.0.0.0 port 8900 ...

如今能夠訪問http://server:8900/

注，網上教程說的「訪問 http://server:8900/cm 」是不對的，由於就已經在cm目錄下啓動HTTP服務器了
其實用其餘http服務器也行，例如用apache httpd，則把cm目錄放到 /var/www/html下也能夠，只要能訪問靜態文件的http服務器便可。

在要安裝cdh的服務器上新建repo

vim /etc/yum.repos.d/cdhrepo.repo

添加如下內容

[cdhrepo] 
name=cdhrepo 
baseurl=http://server:8900/5 
enabled=1 
gpgcheck=0
pkgpolicy=newest

緩存repo信息

yum makecache

檢查cdhrepo是否存在

[root@mysql ~]# yum list|grep cdhrepo
cloudera-manager-agent.x86_64               5.14.1-1.cm5141.p0.1.el7   cdhrepo  
cloudera-manager-daemons.x86_64             5.14.1-1.cm5141.p0.1.el7   cdhrepo  
cloudera-manager-server.x86_64              5.14.1-1.cm5141.p0.1.el7   cdhrepo  
cloudera-manager-server-db-2.x86_64         5.14.1-1.cm5141.p0.1.el7   cdhrepo  
enterprise-debuginfo.x86_64                 5.14.1-1.cm5141.p0.1.el7   cdhrepo  
jdk.x86_64                                  2000:1.6.0_31-fcs          cdhrepo  
oracle-j2sdk1.7.x86_64                      1.7.0+update67-1           cdhrepo