CM自動化安裝CDH5.14.0詳解

時間 2019-11-18

原文原文鏈接

CDH5.14.0版本說明

CDH最先版本只包含hadoop、hive、hbase等基礎組件，CDH5.14.0版本目前已經封裝了spark、impala、kudu（CDH 5.13.x開始）等衆多組件，可是目前kafka和CDH仍是分離的，若是須要cdh離線安裝kafka，須要單獨下載kafka的parcel，具體請參考：kafka的cdh安裝指導html

服務器規劃

主機名	IP地址	CM角色	配置
cm-1	192.168.25.130	server	內存2G處理器4核物理空間40G
cm-2	192.168.25.131	agent	內存1G處理器4核物理空間40G
cm-3	192.168.25.132	agent	內存1G處理器4核物理空間40G
cm-4	192.168.25.133	agent	內存1G處理器4核物理空間40G

一：環境準備

1.1 關閉防火牆(每臺主機)

 
 service iptables status #關閉防火牆 service iptables stop #查看防火牆開機啓動狀態 chkconfig iptables --list #關閉防火牆開機啓動 chkconfig iptables off  

1.2 修改主機名(每臺主機)

vim /etc/sysconfig/network

例如：java

1.3 主機名映射(每臺主機)

vim /etc/hosts

1.4 關閉selinux(每臺主機)

 
 [root@cm-1~]# vim /etc/sysconfig/selinux SELINUX=disabled 重啓才能生效 重啓後檢查 [root@cm-1~]#sestatus -v SELinux status: disabled 表示已經關閉了  

1.5 節點間時間同步(每臺主機)

集羣中全部主機必須保持時間同步，若是時間相差較大會引發各類問題node

#每一個服務器節點執行命令同步時間 ntpdate cn.pool.ntp.org

1.6 開啓ntpd服務(每臺主機)

 
 #安裝ntpd服務 yum install ntp #修改ntp配置 vi /etc/ntp.conf #修改以下部分： server 58.220.207.226 iburst server 47.92.108.218 iburst server 202.112.29.82 iburst server 202.108.6.95 iburst #其中ip爲全球可用的ntp時間服務器，免費提供授時服務。 #配置以後，保存設置，重啓服務 service ntpd stop service ntpd start  

1.7 ssh免密登陸

只須要實現cm-1到cm[2-4]的免密登陸python

 
 [root@cm-1 ~]# ssh-keygen -t rsa （四個回車） 執行完這個命令後，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰） 將公鑰拷貝到要免密登錄的目標機器上 [root@cm-1 ~]# ssh-copy-id cm-2 [root@cm-1 ~]# ssh-copy-id cm-3 [root@cm-1 ~]# ssh-copy-id cm-4  

二：配置cm本地yum源

2.1 安裝http服務器（cm-1）

先查看是否有httpd服務mysql

 
 [root@cm-1 ~]# rpm -qa|grep httpd httpd-tools-2.2.15-39.el6.centos.x86_64 httpd-2.2.15-39.el6.centos.x86_64  

若是沒有則安裝linux

yum install httpd

設置httpd開機啓動sql

[root@cm-1 ~]# chkconfig httpd on

2.2 將cdh的parcel文件掛載到http服務器（cm-1）

建立parcels目錄shell

 
 [root@cm-1 ~]# cd /var/www/html [root@cm-1 html]# mkdir parcels [root@cm-1 html]# cd parcels/  

下載3個文件到parcels目錄
下載地址數據庫

固然你也能夠選擇wget在線下載json

 
 [root@cm-1 parcels]# wget archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel [root@cm-1 parcels]# wget archive.cloudera.com/cdh5/parcels/5.14.0/CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 [root@cm-1 parcels]# wget archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json  

校驗parcel文件是否完整
不少時候因爲網絡緣由致使parcel文件下載失敗，爲了保證parcel文件的完整咱們能夠經過sha文件進行校驗

修改校驗文件的文件名
這一步必須作，不然，系統會從新下載 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

 
 [root@cm-1 parcels]# mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha  

2.3 將cm的rpm文件掛載到http服務器（cm-1）

下載地址：https://archive.cloudera.com/cm5/repo-as-tarball/5.14.0/

 
 #解壓 [root@cm-1 ~]# tar -zxvf cm5.14.0-centos6.tar.gz -C /var/www/html [root@cm-1 ~]# cd /var/www/html/ [root@cm-1 html]# ll 總用量 8 drwxrwxr-x 3 1106 592 4096 1月 22 2018 cm drwxr-xr-x 2 root root 4096 2月 7 11:32 parcels #建立與官網同樣的rpm路徑 [root@cm-1 html]# mkdir -p cm5/redhat/6/x86_64 [root@cm-1 html]# mv cm cm5/redhat/6/x86_64/ [root@cm-1 html]# ll 總用量 8 drwxr-xr-x 3 root root 4096 2月 7 11:36 cm5 drwxr-xr-x 2 root root 4096 2月 7 11:32 parcels  

解釋：爲何須要建立與官網同樣的rpm路徑，請看下圖：

2.4 測試

http://192.168.25.130/parcels/
http://192.168.25.130/cm5/redhat/6/x86_64/cm/5.14.0/RPMS/x86_64/

2.5 配置本地yum源(每臺主機)

配置yum源的目的是爲了離線安裝cm的服務端和客戶端

 
 [root@cm-1 yum.repos.d]# vi /etc/yum.repos.d/cloudera-manager.repo [cloudera-manager] name=Cloudera-Manager,version5.14.0 baseurl = http://192.168.25.130/cm5/redhat/6/x86_64/cm/5.14.0/ gpgcheck = 0  

三：安裝CM的server端

3.1 爲cm安裝mysql（cm-1）

參考：
安裝mysql的時候必定注意：開放遠程訪問

 
 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES;  

3.2 爲cm建立數據庫（cm-1）

建立cmf數據庫

3.3 爲cm安裝數據庫驅動（cm-1）

 
 #cm默認在該目錄找mysql驅動 [root@cm-1 ~]# mv mysql-connector-java-5.1.32.jar /usr/share/java [root@cm-1 ~]# cd /usr/share/java #重命名mysql驅動，必定要重命名 [root@cm-1 java]# mv mysql-connector-java-5.1.32.jar mysql-connector-java.jar  

3.4 安裝cm服務端（cm-1）

 
 [root@cm-1 x86_64]# cd /var/www/html/cm5/redhat/6/x86_64/cm/5.14.0/RPMS/x86_64 [root@cm-1 x86_64]# yum install -y cloudera-manager-daemons-5.14.0-1.cm5140.p0.25.el6.x86_64.rpm [root@cm-1 x86_64]# yum install -y cloudera-manager-server-5.14.0-1.cm5140.p0.25.el6.x86_64.rpm  

3.5 爲設置cm數據庫鏈接信息（cm-1）

 
 [root@cm-1 ~]# cd /etc/cloudera-scm-server/ [root@cm-1 cloudera-scm-server]# ls db.properties log4j.properties [root@cm-1 cloudera-scm-server]# vi db.properties  

從 5.9版本開始
db配置文件裏面多了一項配置：
com.cloudera.cmf.db.setupType
EXTERNAL表示用自建的必須得指定這個參數,或者乾脆註釋掉這個配置項

3.6 安裝oracle jdk（每臺主機）

注意了：
1：最好是oracle jdk，你們能夠直接使用cm提供的配套的oracle jdk
2：每臺服務器都要安裝，能夠先在cm-1安裝，完了後copy到cm[2-4]

卸載openjdk（記得每臺服務都卸載）

 
 [root@cm-1 java]# rpm -qa|grep java tzdata-java-2014g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64 java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64 [root@cm-1 java]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64 [root@cm-1 java]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64  

安裝Oracle jdk

 
 [root@cm-1 x86_64]# cd /var/www/html/cm5/redhat/6/x86_64/cm/5.14.0/RPMS/x86_64 [root@cm-1 x86_64]# rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm warning: oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY Preparing... ########################################### [100%] 1:oracle-j2sdk1.7 ########################################### [100%] [root@cm-1 x86_64]#  #裝完後，不少人不知道裝哪裏去了，告訴你在/usr/java下 #後續的安裝默認就會到該目錄找jdk [root@cm-1 x86_64]# cd /usr/java [root@cm-1 java]# ll 總用量 4 drwxr-xr-x 8 root root 4096 2月 7 12:04 jdk1.7.0_67-cloudera [root@cm-1 java]#  

配置JAVA環境變量

 
 [root@cm-1 etc]# vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera export PATH=$PATH:$JAVA_HOME/bin [root@cm-1 etc]# source /etc/profile  

分發到cm[2-4]

 
 # $PWD引用當前目錄 [root@cm-1 java]# cd /usr/java [root@cm-1 java]# scp -r /usr/java/ root@cm-2:$PWD [root@cm-1 java]# scp -r /usr/java/ root@cm-3:$PWD [root@cm-1 java]# scp -r /usr/java/ root@cm-4:$PWD [root@cm-1 java]# scp /etc/profile root@cm-2:/etc/profile [root@cm-1 java]# scp /etc/profile root@cm-3:/etc/profile [root@cm-1 java]# scp /etc/profile root@cm-4:/etc/profile  

3.7 啓動cm服務（cm-1）

啓動時間會有點長，請耐心等待，估計要1分鐘左右

 
 [root@cm-1 cloudera-scm-server]# service cloudera-scm-server start #看啓動日誌，能夠排憂解難 [root@cm-1 cloudera-scm-server]# cd /var/log/cloudera-scm-server [root@cm-1 cloudera-scm-server]# cat cloudera-scm-server.log  

3.8 測試（cm-1）

訪問：http://192.168.25.130:7180/cmf/login，出現登陸界面表示安裝成功

登陸用戶名和密碼都是admin

四：安裝CM客戶端

只要CM的服務器端安裝成功，那麼恭喜你們，後續的全部安裝，你們均可以直接在管理頁面上自動化完成，CM的客戶端安裝也不例外

4.1 贊成license協議

admin/admin登陸到CM
贊成license協議，點擊繼續

4.2 選擇免費版

4.3 選擇CM客戶端主機

4.4 指定cdh的parcel庫和cm的rpm地址

4.5 安裝cm客戶端

這一步開始前，麻煩再作兩件事情
第一件：每臺主機都安裝以下組件

 
 yum install -y python-psycopg2 mod_ssl MySQL-python openssl-devel fuse-libs portmap /lib/lsb/init-functions fuse libxslt cyrus-sasl-gssapi  

第二件：每臺主機都註釋掉不相關的repo文件

必須註釋,要否則cm客戶端的安裝會變得很慢，甚至超時

4.6 安裝CDH

4.7 安裝大數據組件

一旦cdh安裝完畢，恭喜你，接下來安裝hdfs、yarn、hive、sqoop都是很簡單的事情了
安裝推薦：若是你要安裝hdfs、yarn、hive、kudu、impala，並且impala和hive要整合，impala和kudu要整合，那麼你的安裝順序是
(hdfs,yarn)=>hive==>kudu====>impala