使用阿里雲主機離線部署CDH步驟詳解

1、Linux文件系統準備

1. 拍攝快照

        登陸阿里雲控制檯，拍攝快照，注意有幾個關鍵點儘可能拍攝快照，系統初始狀態、CM環境準備完成、CM安裝完成、CDH安裝完成。

2. 掛載設備 

        三個主機都執行。

• 建立掛載目錄

$mkdir /data

• 查看設備

$df -h
$fdish -l

        得知/dev/vdb沒有掛載

• 格式化設備

$mkfs.ext3 /dev/vdb

• 編寫開機自動掛載腳本

$mkdir /opt/shell/
$vim /opt/shell/mymount.sh

#!/bin/bash
#
mount -o rw /dev/vdb /data

• 修改權限

$chmod 777 /opt/shell/mymount.sh

• 設置開機運行

$vim /etc/rc.local

        在文件中加入一行

/opt/shell/mymount.sh

2、系統環境準備

1. 網絡配置

• 修改hostname。三臺機器分別改成cdh0一、cdh0二、cdh03。

$vim /etc/sysconfig/network

• 重啓網絡服務。

$service network restart

• 修改IP與主機名的對應關係。

vi /etc/hosts

內網ip1 cdh01
內網ip2 cdh02
內網ip3 cdh03

2. SSH兩兩免密碼登陸

        三個雲主機要設置自身免密碼登陸，而且三個雲主機之間設置兩兩免密碼登陸。以cdh01爲例：

• 設置自身免密碼登陸

        在cdh01產生密鑰，將公鑰追加劇定向到認證文件中。在三臺機器中都執行以下命令：

$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• cdh01免密碼登陸到cdh02

        將cdh01的公鑰遠程拷貝到cdh02中，這時須要輸入cdh02的密碼；再在cdh02中將已經遠程拷貝過來的cdh01的公鑰追加劇定向到cdh02的認證文件中。這是由於私鑰加密，公鑰解密，cdh01與cdh02通訊須要先用私鑰加密，私鑰加密的要用公鑰解密，因此要將cdh01的公鑰追加到cdh02的認證文件中。

$scp ~/.ssh/id_dsa.pub root@cdh02:~
$cat ~/id_dsa.pub >> ~/.ssh/authorized_keys

• cdh01免密碼登陸到cdh03

$scp ~/.ssh/id_dsa.pub root@cdh03:~
$cat ~/id_dsa.pub >> ~/.ssh/authorized_keys

        同理能夠完成cdh02免密碼登陸到cdh01和cdh03，cdh03免密碼登陸到cdh01和cdh02。

3. 關閉防火牆

• 臨時關閉

$service iptables stop

• 永久關閉需重啓生效

$chkconfig iptables off

4. 關閉SELINUX

$vim /etc/selinux/config

        將SELINUX=enforcing 修改成 SELINUX=disabled

• 查看SELINUX狀態

$/usr/sbin/sestatus

         執行$/usr/sbin/sestatus，可見SELINUX status:（enabled：開啓；disabled：關閉）

5. 安裝JDK

• 採用RPM包安裝

$rpm -ivh jdk-7u79-linux-x64.rpm

• 配置環境變量

$vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

• 使環境變量生效

$source /etc/profile

6. 安裝時間同步

• 全部節點安裝NTP

$yum -y install ntp

• 設置開機啓動

$chkconfig ntpd on

• 檢查是否設置成功

$chkconfig --list ntpd

• 設置時間同步

$ntpdate -u ntp1.aliyun.com

7. 主節點安裝MySQL

• 查看並卸載以前版本

        查看系統是否安裝了MySQL，使用命令

$rpm -qa | grep mysql

        卸載命令相似下面

$rpm -ev mysql-*.RHEL4.1
$yum -y remove mysql-libs-5.1.71-1.el6.x86_64

• 繼續查看是否有未刪盡的目錄

$find / -name mysql

        刪除查找出的全部mysql目錄，例如：

$rm -rf /var/lib/mysql
$rm -rf /var/lib/mysql
$rm -rf /usr/lib64/mysql
$rm -fr /usr/include/mysql

• 手動刪除my.cnf文件

        卸載後/etc/my.cnf有可能不會刪除，須要進行手工刪除。

rm -f /etc/my.cnf

• 再次查找機器是否安裝mysql

$rpm -qa|grep -i mysql

        若是無結果，說明已經卸載完全。

• 安裝mysql

        使用以下命令安裝Server和Client：

$rpm -ivh MySQL-server-5.6.*.rpm
$rpm -ivh MySQL-client-5.6.*.rpm
$rpm -ivh MySQL-devel-5.6.*.rpm

        注意MySQL的版本選擇5.5或5.6，因其和Hadoop生態圈的Oozie、Hue、Hive/Impala、Sqoop等的兼容性比較好。

• 啓動MySQL

        查看狀態

$service mysql status

        若是沒有運行，則使用以下命令啓動：

$service mysql start

• 設置開機啓動

$chkconfig --add mysql
#或者
$chkconfig mysql on

        查看是否生效

$chkconfig --list mysql

• 查看初始密碼

$cat /root/.mysql_secret

• 給mysql設置root密碼

        使用以下命令進入mysql：

$mysql -u root -p

        輸入密碼初始密碼後進入MySQL命令行，再修改密碼。

mysql>SET PASSWORD = PASSWORD('newpwd');
mysql>quit;

        退出後再用新密碼測試

$mysql -uroot -pnewpwd 

        若是能夠登陸成功，則表示mysql數據庫已經安裝成功。

8. 下載安裝第三方依賴包

        全部節點都需下載安裝依賴包。

$yum -y install chkconfig python 2.6 required for CDH 5 bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb 

3、安裝Cloudera Manager Server&Agent

1. 安裝 Cloudera Manager Server&Agent

• 上傳文件

        拷貝cloudera-manager-el6-cm5.6.1_x86_64.tar.gz 到全部Server、Agent節點

• 建立 cm 目錄

$mkdir /opt/cloudera-manager 

• 解壓 cm 壓縮包

$tar -zxvf /opt/tools/cdh/cloudera-manager-el6-cm5.6.1_x86_64.tar.gz -C /opt/cloudera-manager 

2. 建立用戶 cloudera-scm（全部節點）

• 全部節點建立用戶

$useradd --system --home=/opt/cloudera-manager/cm-5.6.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

• 查看用戶是否成功建立:

$cat /etc/passwd 

3.  配置CM Agent

        全部的Agent機器都須要修改

        修改文件/opt/cloudera-manager/cm-5.6.1/etc/cloudera-scm-agent/config.ini中server_host以及server_port。

        server_host=cdh01，server_port 7182

4. 配置CM server數據庫

        在主節點執行。

• 拷貝jar包

        拷貝/opt/tools/cdh/目錄下的mysql jar文件到目錄/usr/share/java/中，而且jar包名要修改成mysql-connector-java.jar。若是沒有java目錄須要先建立。

$mkdir /usr/share/java
$cp /opt/tools/cdh/mysql-connector-java-5.6-bin.jar /usr/share/java/mysql-connector-java.jar  

        由於在啓動時會到這個目錄下找jar包，若是沒有找到就認爲沒有jar包，會報數據庫JDBC connection的錯誤。

• 建立臨時帳戶

        進入mysql，建立臨時帳戶，來於創建數據庫。

mysql>grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;
mysql>FLUSH PRIVILEGES;

• 執行scm_prepare_database.sh腳本

$cd /opt/cloudera-manager/cm-5.6.1/share/cmf/schema/
$./scm_prepare_database.sh mysql temp -h cdh01 -utemp -ptemp --scm-host cdh01 scm scm scm

• 刪除臨時用戶

mysql> drop user 'temp'@'%';

5. 建立Parcel目錄

• Server節點 

        在Server節點建立parcel-repo目錄並修改權限。

$mkdir -p /opt/cloudera/parcel-repo
$chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

• Agent節點

        全部Agent節點建立parcels目錄並修改權限。

$mkdir -p /opt/cloudera/parcels
$chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6. 製做CDH本地源

        直接上傳已下載文件CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1和CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel。或者直接用wget下載：

$wget http://archive-primary.cloudera.com/cdh5/parcels/5.6.1/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 >> /dev/null &
$wget http://archive-primary.cloudera.com/cdh5/parcels/5.6.1/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel >> /dev/null & 

        將這兩個文件拷貝到/opt/cloudera/parcel-repo目錄下。

7. 啓動CM Manager&Agent服務

• 進入目錄

$cd /opt/cloudera-manager/cm-5.6.1/etc/init.d/

• 先啓動Server

        首次啓動會自動建立表以及數據，不要當即關閉或重啓，不然須要刪除全部表及數據從新安裝。

$./cloudera-scm-server start

• 後啓動全部Agents

$./cloudera-scm-agent start

•  查看日誌

         Cloudera Manager的安裝日誌在/opt/cloudera-manager/cm-5.6.1/log目錄下，其中有agent、server和cmf三個文件夾。server在啓動的時候會啓動不少腳本，對數據庫的建立、包的操做，會花費一段時間。

4、安裝CDH

1. CDH集羣的安裝

• 登陸到CM客戶端（瀏覽器）

        地址：http://cdh01公網ip:7180/

        用戶名：admin

        密碼：admin

• Cloudear Manager部署版本的選擇

• 爲CDH集羣的安裝指定主機

        將三臺雲主機全選。

• 選擇儲存庫

        使用Parcel方法，CDH版本選擇5.6.1。

• 集羣正確性檢測 

若是出現警告，按提示解決便可

例如：echo never > /sys/kernel/mm/transparent_hugepage/defrag」以禁用此設置。而後將同一命令添加到 /etc/rc.local 等初始腳本中，以便在系統重啓時予以設置。

• 自定義腳本分配

2. 爲集羣添加Hive服務

 

3. 爲集羣添加Sqoop服務

最終可見安裝完成的界面以下：