centos 7 cloudera-manager5.16.2,CDH5.16.2安裝升級spark2.4.0

1.在已經安裝好系統的linux服務器上關閉selinux和iptables

2.在全部linux服務器上配置ntp服務並設置ntp時間同步

3.在全部linux服務器上安裝好cm和cdh版本所須要對應的java版本

(1).下載java包到/usr/local目錄解壓

(2).添加java環境到/root/.bash_profile目錄下

export JAVA_HOME=/usr/local/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

4.爲全部服務器配置host主機名並配置hosts（**配置全部主機的hosts；配置cm主機免密碼登陸全部服務器**）

**注意主機名不要出現」_」否則在cm爲主機安裝CDH後開啓cloudera-manager-agent時會有問題**

**注意主機名不要出現用如:(Test.node01;Test.node02;Test.cm)這樣」.」分割的第一段都相同；這樣的host在是不法配置HA，由於cm配置HA自動認別主機就是以」.」爲分割取第一段**

5.在CM服務器上安裝數據庫，這裏做者選擇安裝的是mysql5.7(能夠選擇安裝oraclea或postgresql)

(1).安裝好mysql5.7

(2).初始化mysql5.7

[root@centos7 bin]# ./mysqld --initialize --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
2019-02-21T09:09:32.773141Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2019-02-21T09:09:34.064508Z 0 [Warning] InnoDB: New log files created, LSN=45790
2019-02-21T09:09:34.252282Z 0 [Warning] InnoDB: Creating foreign key constraint system tables.
2019-02-21T09:09:34.320052Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 67cc2fdb-35b8-11e9-a738-000c29186a7c.
2019-02-21T09:09:34.321735Z 0 [Warning] Gtid table is not ready to be used. Table 'mysql.gtid_executed' cannot be opened.
2019-02-21T09:09:34.330050Z 1 [Note] A temporary password is generated for root@localhost: >aHMp/_V3(Aq

**注意>aHMp/_V3(Aq爲初始化第一次登陸的臨時密碼**

(3).啓動mysql5.7；登陸後修改root密碼

mysql> alter user 'root'@'localhost' identified by 'xxx' PASSWORD EXPIRE NEVER account unlock;    #本來密碼有效期爲360天須要取消這個限制。

mysql> flush privileges;

**注意添加root用戶時加上WITH GRANT OPTION給予賦權的權限**

6.全部服務器安裝必要的包

yum  -y  install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security  x86_64 spax time zlib-devel

7.下載安裝Cloudera-manager5.16.2

下載地址：https://www.cloudera.com/downloads/manager/6-2-0.html

(1).選擇要下載的版本下載

(2).下載包放至/opt目錄解壓 tar –xzvf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz

(3).建立mysql庫

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

1.CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

(4).建立clouder-manager的mysql帳號

grant all on scm.* to scm@"%" Identified by "Bigdata@123";

(5).複製mysql Jar包到環境

cp mysql-connector-java-5.1.30-bin.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.16.2/share/cmf/lib/

(6).下載CDH5.16.5 centos7版本

下載地址：http://archive.cloudera.com/cdh5/parcels/5.16.2/

下載三個包到/opt/cloudera/parcel-repo目錄下更名CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1爲CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha

(7).初始化CM庫

/opt/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -P31000 -p123456 -scm-host localhost scm(庫) scm(用戶名) Bigdata@123(密碼)

(8).全部節點建立系統用戶

useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server  --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(9).修改cm配置文件

sed -i "s/server_host=localhost/server_host=mcserver/" /opt/cm-5.16.2/etc/cloudera-scm-agent/config.ini

(10).cm服務器上chown –R cloudera-scm:cloudera-scm /opt/**;同步/opt/cmd-5.16.2到全部服務器上;

(11).在CM服務器上開啓cm和agent服務

/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start

(12).在其它服務器上開啓agent服務

8.登陸CM平臺

(1).在cm服務器netstat –tpln看到7180端口已經監聽起來http://cmserver:7180用戶名admin密碼admin登陸

(2).選擇要做爲集羣的主機，第一確認/opt/cm-5.16.2/etc/clouder-scm-agent/config.ini已經配置爲master,第二確認cloudera-scm-agent是否正常啓動

（3）選擇要安裝的CDH版本

(4).安裝完成會顯示100%若是主機的域名是含有」_」的在安裝完後會報clouser-manager-agent鏈接失敗檢查9000,9001端口是否被佔用的錯:

(5)待安裝完成後，會自動運行主機正確性檢查，檢查完後的結果以下圖所示。若是出現圖中所示的警告，按照上面的提示，運行提示中的命令，進行修改便可

(6).下一步是根據本身的須要，安裝所需的集羣服務

這裏做者安裝的服務

(7).接着根據你上一步選擇的服務，會進行相應的角色分配，系統會自動分配一些角色，若是你有其餘的需求，自行更改便可

(8).而後是進行數據庫的配置，若是你也是同做者同樣安裝的所有服務，千萬不要忘了建立hive、oozie、hue這三個數據庫

(9)接着是自動運行全部服務，這裏須要等待10-15分鐘的時間

(10)最後當上面的全部命令運行完成後，會進入以下的主頁面

9升級spark1.6到spark2.4.0

(1).cm5.16.2默認安裝的spark是1.6.4；若是要升級SPARK2是不用刪除spark1.6能夠同時安裝兩個spark(spark1和spark2)**注意spark2.2和saprk2.3是不能夠存在兩個的**

(2)下載SPARK2.4.0以下圖三個包到/opt/cloudera/parcel-repo;SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1更名爲SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha;**注意原來CDH5.16.2的manifest.json文件要更名爲manifest_CDH5.16.2.json；由於mainifest.json文件不能夠有重名**

下載地址:http://archive.cloudera.com/spark2/parcels/latest/

(3)下載CSD文件到全部服務器/opt/cloudera/csd目錄下

下載地址:http://archive.cloudera.com/spark2/csd/

(4)分配並激活parcel

以上已經激活，第一次進來，若是沒有SPARK2先檢查新parcel會有SPARK2;再點分配，分配完成就激活；若是分配激活時有問題，報錯，/opt/cmd-5.16.2/etc/init.d/cloudera-scm-agent restart重啓agent再試

(5)命令重啓cm，在cm服務器上/opt/cmd-5.16.2/etc/init.d/cloudera-scm-server restart重啓後就能夠添加spark2服務；

(5)安裝完成後在服務器上運行spark2-shell --master local[2];能夠正常動行表示升級spark2完成