Cloudera CDH 6.3.3 三節點集羣部署

Cloudera CDH集羣的部署實際上主要是Cloudera Manager的部署，在說的直白點兒那就是Cloudera Manager Server和本地YUM源的部署與搭建。

Cloudera CDH和Manager 6.3.3 及之後版本升級須要有效的cloudera enterprise或者cdp數據中心受權，這意味着Cloudera CDH和Manager免費社區版本將會停留在6.3.2版，一直以資金不足薅Cloudera羊毛的廣大中小型企業要麼強制本身的Hadoop生態應用兼容於CDH 6.3.2版及如下，要麼及早轉投徹底開源且無償使用的 Apache Hadoop。
本文是Cloudera CDH 6.3.2版部署過程的回憶性記錄：
一 OS環境
Host：Windows 7 旗艦版 SP1 64Bit
Hypervisor：VMware workstation 15 Pro
Board：CentOS 7 1804 Everything 64Bit
二 主機規劃
2核心4線程
6GB Memory
50GB Disk
192.168.207.131 master0 cdh1.example.com
192.168.207.132 slave0 cdh2.example.com
192.168.207.133 slave1 cdh3.example.com
【注意：本次操做均在root帳戶下進行，如在生產環境中執行請先建立相應的用戶和組】
三 安裝JDK
Cloudera CDH可選用的JDK包括Oracle JDK、RedHat Open JDK、Zulu JDK、GraalVM CE JDK等，本次採用Cloudera CDH推薦的JDK：oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm。
JDK的OS環境變量配置以下：
【編輯/etc/profile添加】
#set java environment
JAVA_HOME=/usr/java/jdk1.8cloudera
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
四 在各節點配置SSH免密登陸
執行 ssh-keygen -t rsa
4次回車後，分別執行
ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.207.132
和
sh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.207.133
並分別執行
ssh 'root@192.168.207.132'和ssh 'root@192.168.207.133'進行驗證
五 關閉防火牆和SELinux
依次執行：
systemctl stop firewalld && systemctl disable firewalld
sed -i 's/^SELINUX=./SELINUX=disabled/' /etc/selinux/config && setenforce 0
Init 6
六 配置時間同步服務
可選用NTP或Chrony，我在虛擬機上配置的是和Microsoft的時間同步，若是在生產環境中部署請將至配置爲與局域網內的時鐘服務器同步。
七下載CDH 6.3.2 安裝所需離線包
依次有：
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el6.parcel.sha256
Manifest.json
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
mysql-connector-java-5.1.46.jar
ext-2.2.zip
八 安裝並配置MySQL數據庫系統
本次採用MySQL 5.7.27 ，安裝路徑爲/usr/local/mysql。
九 安裝並配置Web網絡服務
本次採用 Apache HTTP 作網絡服務，根目錄爲/var/www/html。
十 搭建CDH安裝的YUM源
依次下載：
https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera
https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo
https://archive.cloudera.com/cm6/6.3.1/allkeys.asc
https://archive.cloudera.com/cm6/6.3.1/cloudera-manager-installer.bin
https://archive.cloudera.com/cdh6/6.3.2/parcels/
https://archive.cloudera.com/gplextras6/6.3.2/parcels/
https://archive.cloudera.com/cm6/6.3.1/redhat7/
https://archive.cloudera.com/cm6/6.3.1/allkeys.asc
在HTTP服務下自建YUM目錄，然後在YUM目錄下執行：
yum repolist
yum -y install createrepo
createrepo .
將mysql-connector-java-5.1.46.jar重命名爲mysql-connector-java.jar後上傳到兩個slave節點的驅動共享目錄/usr/share/java/
編輯/etc/yum.repos.d/cloudera-manager.repo爲大體以下內容：
[cloudera-manager]
name=Cloudera Manager 6.3.2
baseurl=http://192.168.207.139/cloudera-repos/cm6/6.3.1/redhat7/yum/
gpgkey=http://192.168.207.139/cloudera-repos/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md
更新YUM源：
yum clean all
yum -y update
十一 安裝 Cloudera Manager
在全部節點執行yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql portmap mod_ssl openssl-devel python-psycopg2 MySQL-python

在CMServer（192.168.207.131）上執行：
yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
cd /opt/cloudera/parcel-repo/
wget http://192.168.207.139/cloudera-repos/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
wget http://192.168.207.139/cloudera-repos/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
wget http://192.168.207.139/cloudera-repos/cdh6/6.3.2/parcels/manifest.json
將manifest.json中對應版本的密鑰複製到.sha文件中
chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/
使用/opt/cloudera/cm/schema/scm_prepare_database.sh完成數據庫的初始化，使用前請確認腳本中的local JAVA8_HOME和本機上的JAVA_HOME一致。

在CMAgent（192.168.207.132和192.168.207.133）上執行：
yum install -y cloudera-manager-agent cloudera-manager-daemons
編輯/etc/cloudera-scm-agent/config.ini將Cloudera Manager Agent 配置爲指向 Cloudera Manager Server：server_host=cdh1.example.com
十二 安裝CDH及其餘組件
在CMServer（192.168.207.131）上執行：
systemctl start cloudera-scm-server
systemctl status cloudera-scm-server
在瀏覽器上打開CMServer（192.168.207.131）：
http://192.168.207.131:7180
用admin/admin登陸Cloudera Manager進行安裝所須要的組件。

孟伯，20200528

交流聯繫：微信 1807479153 ，QQ 1807479153