CentOS 6.9搭建CDH 5.12.0集成環境

Cloudera Manager則是爲了便於在集羣中進行Hadoop等 大數據處理相關的服務安裝和監控管理的組件，對集羣中主機、Hadoop、 Hive、 Spark等服務的安裝配置管理作了極大簡化。

 

環境準備

相關包的下載地址：

JDK： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

JDBC驅動： http://dev.mysql.com/downloads/connector/j/

Cloudera Manager地址： http://archive.cloudera.com/cm5/cm/5/

CDH安裝包地址： http://archive.cloudera.com/cdh5/parcels/latest/

 

如下使用的操做系統爲CentOS6.9，須要下載如下文件：

jdk-8u144-linux-x64.rpm

mysql-connector-java-5.1.43.tar.gz （解壓其中的jar包便可）

cloudera-manager-el6-cm5.12.0_x86_64.tar

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1

manifest.json

 

如下操做均須要(root)管理員權限

1.網絡配置(全部節點)

修改主機名：vim /etc/sysconfig/network

修改ip與主機名的對應關係：vim /etc/hosts

192.168.3.190   master 192.168.3.176   node1 192.168.3.158   node2

 

2.打通SSH，設置ssh無密碼登錄（全部節點）

執行ssh-keygen -t rsa，一路回車，生成無密碼的密鑰對。

將公鑰複製成認證文件並修改權限：

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys && chmod 600 ~/.ssh/authorized_keys

經過scp命令將認證文件拷貝到全部其餘節點。

3.安裝Oracle的Java（全部節點）

CentOS自帶OpenJdk，不過運行CDH5須要使用oracle的JDK。

卸載自帶的OpenJdk，使用rpm -qa | grep java查詢java相關的包，並rpm -e --nodeps 包名卸載。

下載jdk的rpm安裝包，並使用rpm -ivh 包名安裝，最後配置環境變量。

rpm -ivh jdk-8u144-linux-x64.rpm

4.安裝配置 MySQL（主節點）

安裝mysql服務，service mysqld start啓動mysql服務，並根據提示設置

設置開機啓動：chkconfig mysqld on

root的初始密碼：mysqladmin -u root password 'xxxx'

設置root受權訪問全部的數據庫： grant all privileges on *.* to 'root'@'%' identified by '123' with grant option;

flush privileges;

 

5.關閉防火牆和SELinux （全部節點）

關閉防火牆：

service iptables stop （臨時關閉）  chkconfig iptables off （重啓後生效）

 

關閉SELINUX

setenforce 0 （臨時生效）  修改 /etc/selinux/config 下的 SELINUX=disabled （重啓後永久生效）

 

6.全部節點配置NTP服務 （全部節點）

集羣中全部主機必須保持時間同步，若是時間相差較大會引發各類問題。

全部節點安裝相關組件：yum install ntp。

完成後，配置開機啓動：chkconfig ntpd on

開啓服務：service ntpd start

檢查是否成功，用ntpstat命令查看同步狀態，出現如下狀態表明啓動成功：

unsynchronised

   polling server every 64 s

 

正式安裝

 

解壓安裝 （全部節點）

cloudera manager的目錄默認位置在/opt下，將包導入並解壓：

tar zxf cloudera-manager-el6-cm5.12.0_x86_64.tar.gz

 

建立cloudera-scm用戶（全部節點）

useradd --system --home=/opt/cm-5.12.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

爲Cloudera Manager 5創建數據庫 並初始化（主節點）

先將JDBC驅動 mysql-connector-java-5.1.43-bin.jar，放到/opt/cm-5.12.0/share/cmf/lib/中。

 

初始化：

/opt/cm-5.12.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123 --scm-host localhost scm scm scm

 

修改agent配置文件（全部節點）

修改/opt/cm-5.12.0/etc/cloudera-scm-agent/config.ini中的server_host爲主節點的主機名。

 

準備Parcels，用以安裝CDH5

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中。

相關的文件以下：

CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1 manifest.json

 

而後需將CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1重命名爲CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha

 

啓動腳本

經過/opt/cm-5.12.0/etc/init.d/cloudera-scm-server start啓動服務端。

經過/opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start啓動Agent服務。

 

中止服務stop，重啓是restart。

 

CDH5的安裝配置

Cloudera Manager Server和Agent都啓動之後，就能夠進行CDH5的安裝配置了。

這時能夠經過瀏覽器訪問主節點的7180端口測試一下了（因爲CM Server的啓動須要花點時間，這裏可能要等待一會才能訪問），默認的用戶名和密碼均爲admin：

 

 

 

各個Agent節點正常啓動後，能夠在當前管理的主機列表中看到對應的節點。選擇要安裝的節點，點繼續。

 

接下來，出現如下包名，說明本地Parcel包配置無誤，直接點繼續就能夠了。

 

點擊，繼續，若是配置本地Parcel包無誤，那麼下圖中的已下載，應該是瞬間就完成了，而後就是耐心等待分配過程就好了。

 

接下來是服務器檢查，可能會遇到如下問題： （根據提示操做便可）

Cloudera 建議將 /proc/sys/vm/swappiness 設置爲 10。當前設置爲 60。

已啓動「透明大頁面」，它可能會致使重大的性能問題。

臨時解決辦法：

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

長期解決辦法：將配置文件寫入/etc/rc.local

 

 

接下來是選擇安裝服務：

 

服務配置，通常狀況下保持默認就能夠了（Cloudera Manager會根據機器的配置自動進行配置，若是須要特殊調整，自行進行設置就能夠了）：

 

 

接下來是數據庫的設置，須要建立一些數據庫：

mysql -uroot -pxxxx進入mysql命令行，建立如下數據庫：

--hive數據庫 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --oozie數據庫 create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; --hue數據庫 create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

問題：

一、Logon denied for user/password. Able to find the database server and database, but logon request was rejected

解決辦法：建立一個新的用戶並受權

grant all privileges on *.* to 'user'@'主機名' identified by '密碼' with grant option;

設置root受權訪問以上全部的數據庫

flush privileges;

 

二、hive和oozie默認都沒有帶mysql的驅動，需拷貝jar包到依賴目錄

hive：/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/

oozie：/opt/cloudera/parcels/CDH/lib/oozie/libtools

 

三、若是hue連不上，會報錯：Unexpected error. Unable to verify database connection.

這是由於Centos最小安裝，缺了個東西：yum install -y python-lxml

 

下面是集羣設置的審查頁面，所有保持默認配置便可：

 

 

接下靜靜地等待便可。