Cloudera CDH 離線安裝與使用

CDH 在線安裝方法以下，方便，可是因爲在國內，訪問這個網站的速度很慢，並不快捷。

在線安裝Cloudera Manager服務器

 

# 配置cloudera-cdh源和cloudera-manager源

# cloudera-manager

wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

# cloudera-cdh

wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

# 安裝jdk和cloudera-manager

sudo yum install cloudera-manager-daemons cloudera-manager-server -y

 

而後就能夠訪問IP:7180經過網頁進行操做了。然而實際狀況是，在線安裝，很慢很慢……

 

咱們使用離線安裝的方式進行：

1、基礎環境準備

1. 相關包的下載地址： 

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/ 

下載對應的文件，我下載的是：cloudera-manager-el6-cm5.13.3_x86_64.tar.gz

2. CDH安裝包地址：http://archive.cloudera.com/cdh5/parcels

因爲咱們的操做系統爲CentOS6.5，須要下載如下文件,找到對應的版本： 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1

manifest.json 

 

3. 準備JDBC，等下鏈接mysql會用到：

http://download.softagency.net/MySQL/Downloads/Connector-J/

 Updated on 20180727

Mysql jar鏈接已經失效,能夠在下面網站下載最新的jar包

https://dev.mysql.com/downloads/file/?id=477054

4. 所有須要的軟件下載完，算上mysql jar一共是5個文件

cloudera-manager-el6-cm5.13.3_x86_64.tar.gz
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 
CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1 
manifest.jso
mysql-connector-java-5.1.35-bin.jar

5. 準備JDK

tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm
cat /etc/profile
export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

6. 安裝設置NTP

6.1 yum install ntp

cat /etc/ntp.conf
driftfile /var/lib/ntp/drift   
restrict default kod nomodify notrap nopeer noquery 
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1  
restrict 192.168.206.0 mask 255.255.255.0 nomodify notrap 
 server 0.centos.pool.ntp.org iburst 
 server 1.centos.pool.ntp.org iburst 
 server 2.centos.pool.ntp.org iburst 
 server 3.centos.pool.ntp.org iburst

6.2啓動 ntp：

$ service ntpd start

6.3 設置開機啓動:

$ chkconfig ntpd on

 

6.4 檢查是否設置成功：chkconfig --list ntpd其中2-5爲on狀態就表明成功。

6.5能夠經過如下命令先進行時間同步：

ntpdate us.pool.ntp.org

6.6在兩個slave節點上執行便可

ntpdate -u bigdata1

7. 關閉防火牆，selinux等。

2、環境準備完成，開始安裝CDH

CDH的安裝，建議用root完成，後面有不少須要CDH建立目錄。用戶等操做。

 

1. 解壓CM到每一個節點/opt的路徑下

tar -zxvf cloudera-manager-el6-cm5.13.3_x86_64.tar.gz -C /opt

下載的mysql-connector-java.jar拷貝到每一個節點

cp  mysql-connector-java-5.1.35-bin.jar /opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata2:/opt/cm-5.13.3/share/cmf/lib/
scp mysql-connector-java-5.1.35-bin.jar root@bigdata3:/opt/cm-5.13.3/share/cmf/lib/

2. 安裝mysql，並準備相關用戶，注意用戶建立過程當中，要給予with grant option權限，否則後面會報錯

 

2.1安裝MySQL的yum源，下面是RHEL6系列mysql5.6的下載地址：

 rpm -ivh http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm

2.2 yum安裝

yum install mysql-community-server -y

2.3 建立用戶和賦權

grant all privileges on *.* to root@'localhost' identified by 'root' with grant option;
grant all privileges on *.* to root@'%' identified by 'root' with grant option;
grant all privileges on *.* to scm@'localhost' identified by 'scm'  with grant option;
grant all privileges on *.* to scm@'%' identified by 'scm'  with grant option;

3. 在主節點初始化CM5的數據庫：

/opt/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hbigdata1 -uroot -proot --scm-host bigdata1 scm scm scm

  參數解釋：數據庫類型 數據庫名稱 數據庫主機名 數據庫用戶名 密碼 --scm-host cmserver主機名 scm scm scm

 

4. Agent配置 

修改/opt/cm-5.13.3/etc/cloudera-scm-agent/config.ini中的server_host爲主節點的主機名。 否則agent沒法找到server端。

4.1同步軟件到所有的Agent節點：

scp -r /opt/cm-5.13.3 root@node2:/opt/

5. 在全部節點建立cloudera-scm用戶

useradd --system --home=/opt/cm-5.13.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false  --comment "Cloudera SCM User" cloudera-scm

6. 準備Parcels，用以安裝CDH5 

將CHD5相關的Parcel包放到主節點的/opt/cloudera/parcel-repo/目錄中（parcel-repo須要手動建立）。 

相關的文件以下：

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1 

manifest.jso

 

最後將CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1，重命名爲CDH-5.7.1- CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha，這點必須注意，不然，系統會從新下載CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1文件。 

Updated 20180727

本來這個地方好不容易發現,去掉"1"的方法安裝.如今安裝,發現"1"要保留的.CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha1名字保持不變,才能夠.

7. 相關啓動腳本 

經過/opt/cm-5.13.3/etc/init.d/cloudera-scm-server start啓動服務端。 

經過/opt/cm-5.13.3/etc/init.d/cloudera-scm-agent start啓動Agent服務。

(全部節點都要啓動Agent服務，包括服務端)

咱們啓動的實際上是個service腳本，須要中止服務將以上的start參數改成stop就能夠了，重啓是restart。

安裝到此處，能夠考慮備份vmware虛擬機，後面CM的部署過程當中，遇到錯誤，能夠會滾到當前狀態調整。

 

3、CDH5的安裝配和集羣配置

1. Cloudera Manager Server和Agent都啓動之後，就能夠進行CDH5的安裝配置了。 

2. 這時能夠經過瀏覽器訪問主節點的7180端口測試一下了（因爲CM Server的啓動須要花點時間，這裏可能要等待一會才能訪問頁面，可能須要3-5分鐘），默認的用戶名和密碼均爲admin

 

3. 登錄後，會進入到歡迎/受權頁面

 

4. 選擇受權版本，這裏選擇「免費版本」

 

5. 若是前面的的配置都是正確的，而且agent都啓動成功，這裏「當前管理的主機」中，是能夠看到所有節點的。注意：防火牆必定要關閉，否則會出現，agent節點，不能被發現的狀況。

 

6. 前面已經將軟件包放到目錄/opt/cloudera/parcel-repo，這裏就能夠直接看到本地的包。

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel 

CDH-5.13.3-1.cdh5.13.3.p0.2-el6.parcel.sha 

manifest.json

 

 

7. 點擊「繼續」，到集羣安裝，這個會比較快，大概10分鐘完成。若是是在線安裝，這個要幾個小時，甚至下載失敗。

 

8. 根據提示，修復一些前面沒有配置好的項目，而後從新檢查。建議解決所有報錯，防止後續使用有詭異的問題發生。

 

 

9. 這裏，我遇到的兩個問題：

9.1.JDK沒法被識別，運行以前保證JDK路徑能被識別。

9.2.須要已經安裝perl軟件包

yum install -y perl

10. 選擇須要安裝的組合，也能夠選擇自定義，後續單獨安裝每一個組件

11. 選擇每一個角色，須要部署在哪個機器上

12. 選擇須要使用到mysql的組件，在mysql中建立的db、用戶名、密碼等

13. 安裝完成以後。

14. 安裝完成後，就能夠進入集羣界面看一下集羣的當前情況了。 

這裏可能會出現沒法發出查詢：對 Service Monitor 的請求超時的錯誤提示，若是各個組件安裝沒有問題，通常是由於服務器比較卡致使的，過一會刷新一下頁面就行了,根據實際狀況調整配置便可：

15. 另外若是想添加新的主機，必需要先啓動新主機上的agent服務，不然新主機不能被發現，要從新下載cm-agent，很麻煩。安裝新的節點之後，記得運行"部署客戶端"命令。

4、問題彙總

問題1

CDH環境搭建好以後，訪問Oozie管理頁面時，出現以下問題：

 

 

解決方法：

根據提示，咱們能夠發現缺乏Ext JS library，咱們能夠點擊給出的網址連接：

Oozie Quick Start

 

找到以下內容：

 

而後找到ExtJS2.2下載，下載完成後上傳到CDH的服務器的目錄/opt/cloudera/parcels/CDH/lib/oozie/libext/下面。

具體操做以下：

cd /opt/cloudera/parcels/CDH/lib/oozie/libext

unzip ext-2.2.zip

chown oozie:oozie -R ext-2.2

如今這個官網，已經不提供下載ext-2.2.zip，若是下載，請點擊連接：

而後咱們再次訪問頁面就能夠了。