Cloudera Manager及CDH最新版本安裝全程記錄

   你們都知道，Apache Hadoop的配置很繁瑣，並且很零散，爲此Cloudera公司提供了Clouder Manager工具，並且還封裝了Apache Hadoop,flume,spark，hive,hbase等大數據產品造成本身特點的CDH產品，再使用CM進行安裝，很大程度上方便了集羣的搭建，並提供了集羣的監控功能。

1、環境:

1.三臺VMware虛擬機(一個作爲主節點，兩個作爲從節點)

hserver1n(主節點)	hserver2n(從節點)	hserver3n(從節點)
CM Server
CM Agent	CM Agent	CM Agent
NameNode	DateNode	DateNode
Mysql

 

2.操做系統:Centos7

3.Cloudera Manager:5.14.1

4.CDH：5.14.0

5.JDK1.8

2、軟件下載地址

1.Cloudera Manager

2.CDH

3.JDK和MySQL自行搜索

3、系統環境設置:

如下步驟都使用root用戶操做

1.設置靜態IP

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE="Ethernet" BOOTPROTO="static" DEFROUTE="yes" PEERDNS="yes" PEERROUTES="yes" IPV4_FAILURE_FATAL="no" IPV6INIT="yes" IPV6_AUTOCONF="yes" IPV6_DEFROUTE="yes" IPV6_PEERDNS="yes" IPV6_PEERROUTES="yes" IPV6_FAILURE_FATAL="no" IPV6_ADDR_GEN_MODE="stable-privacy" NAME="ens33" UUID="edcb54db-f59d-4893-bd8e-8ae60d0ba6f9" DEVICE="ens33" ONBOOT="yes" GATEWAY=192.168.124.2 IPADDR=192.168.124.136 NETMASK=255.255.255.0 DNS1=202.96.128.86 DNS2=223.5.5.5 

還須要設置虛擬網絡:

(1) 點擊虛擬網絡編輯器

(2)子網，子網掩碼，以及NAT設置

 

(3)虛擬機網絡選擇剛設置的VMnet8 

（4）重啓網絡

[root@localhost ~]# systemctl restart network

 

 

2.關閉防火牆和SELINUX

[root@localhost ~]# vim /etc/selinux/config .config/ 將selinux=enforcing改爲selinux=disabled

重啓虛擬機

3.安裝JDK

   CentOS7默認安裝的是OpenJDK,因此須要先卸載，而後安裝Oracle JDK.

4.設置主機名(CentOS7與CentOS6主機名設置不一樣，請參考此博文)

（1）vim /etc/hostname

     hserver1n

 (2)hostname hserver1n

單臺虛擬機設置好後，再複製兩臺虛擬機，修改HostName、IP、UUID便可。 

5.配置三臺虛擬機的Host文件

192.168.124.136　　hserver1n

192.168.124.137　　hserver2n

192.168.124.138　　hserver3n

6.打通主節點SSH訪問兩個從節點

7.配置全部節點NTP時間同步服務

   兩個從節點同步主節點的時間

4、安裝MySQL

•  mysql只需在主節點安裝
•  mysql5.6開始mysql服務啓動時會爲root用戶生成一個臨時密碼，經過grep 'password'  /var/log/mysqld.log命令獲取
•  配置密碼驗證策略，我選擇的是不使用密碼驗證策略，以便建立簡單密碼
•  配置數據庫字符集，我配置默認的字符集是utf8。

5、安裝Clouder Manager及CDH

全部節點操做:

1.新建目錄

$ sudo mkdir /opt/cloudera-manager

2.將下載的Clouder Manager解壓到此目錄下

$ sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

 3.建立用戶cloudera-scm

因爲Cloudera Manager和Managed Services默認使用cloudera-scm，因此須要建立此用戶

$ sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4.主節點建立Cloudera Manager服務本地數據存儲目錄

$ sudo mkdir /var/lib/cloudera-scm-server $ sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

5.配置Agent

配置全部節點的Agent，路徑:/opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-agent/config.ini,將server_host修改爲主節點的主機名，若是主節點端口沒有自定義，則不用修改。

6.下載mysql-connector-java.jar,並保存到全部主機的/usr/share/java目錄下

7.配置mysql，能夠參考這裏

7.1 mysql安裝在主節點上，使用mysql命令登陸

7.2 新建一個scm用戶，並賦予全部權限，密碼是scm

mysql> grant all on *.* to 'scm'@'localhost' identified by 'temp' with grant option; Query OK, 0 rows affected, 1 warning (0.00 sec)

7.3 建立數據庫scm

7.4 初始化cloudera manager

[root@hserver1n ~]# /opt/cloudera-manager/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql scm scm scm JAVA_HOME=/usr/java/jdk1.7.0_80 Verifying that we can write to /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-server Creating SCM configuration file in /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-server Executing: /usr/java/jdk1.7.0_80/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cloudera-manager/cm-5.14.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cloudera-manager/cm-5.14.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. Wed Mar 21 14:09:40 CST 2018 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification. [ main] DbCommandExecutor INFO Successfully connected to database. All done, your SCM database is configured correctly!

當看最後一句話，就說明初始化成功了

注意scm帳戶不能刪除,由於cm之後還須要使用此帳戶，若想建立臨時用戶，則須要讓CM建立用戶和數據庫，此時能夠刪除建立的臨時用戶。

可使用命令：

/opt/cloudera-manager/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh  mysql -utemp -ptemp scm scm scm

 

8.將CDH安裝包移動主節點的/opt/cloudera/parcel-repo目錄下

移動的文件有:

將CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1名稱改爲CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha

9.啓動主節點的CM  Server和全部節點的Agent

   路徑爲:/opt/cloudera-manager/cm-5.14.1/etc/init.d  

[root@hserver1n init.d]# ./cloudera-scm-server start Starting cloudera-scm-server: [ OK ]
 [root@hserver1n init.d]# ./cloudera-scm-agent start Starting cloudera-scm-agent: [ OK ]

10.打開CM管理頁面,網址爲:http://hserver1n:7180，

    用戶名和密碼都是admin

 

11.選擇Cloudera Express

12.選擇主機

13.羣集安裝

 

14.安裝完成後，檢查主機正確性

其中有兩項須要修改，一個是修改swapping閥值，從30修改爲10，已最大限度使用內存，第二項是關閉透明大頁面壓縮功能，提升性能。

15.選擇要安裝的服務，這裏選擇核心Hadoop，之後須要安裝其它服務時，再根據須要安裝

 

 16.角色分配，儘可能讓角色均衡地分配到全部主機上，以減小某一臺主機的壓力

17.建立數據庫用戶，及相關數據庫，並配置服務

mysql> grant all on *.* to 'yanggy'@'%' identified by '878963' with grant option; Query OK, 0 rows affected, 1 warning (0.03 sec) mysql> create database hive; Query OK, 1 row affected (0.01 sec) mysql> create database hue; Query OK, 1 row affected (0.01 sec) mysql> create database ooz; Query OK, 1 row affected (0.00 sec)

 

18.集羣相關服務的配置

    HDFS塊大小默認是128M，我這裏爲測試方便，只配置了16M，其它的配置一些數據目錄，日誌目錄，以及端口

19.集羣搭建完成，並啓動了相關服務

20.集羣安裝合成後的初始界面，能夠很明顯的看到集羣中安裝的服務和運行情況，紅歎號是集羣中某些配置、空間與CM指望的不同，能夠根據實際狀況調整。