基於Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集羣安裝

1、Cloudera Manager/CDH5

一、關於cloudera manager和CDH是什麼，這裏不作詳細介紹了。有官網和百科介紹。

附上官網地址：cloudera manager

二、官網的安裝指南

官方文檔提供了三種安裝方式：在線自動安裝/手動安裝包安裝/手動使用cloudera manager管理安裝

此處使用第三種方式安裝hadoop集羣。

2、環境規劃

一、系統：CentOS 6.4_x86

 master：4G內存，硬盤儘可能大容量

 slave1：2G內存，硬盤儘可能大容量

 slave2：2G內存，硬盤儘可能大容量

二、Cloudera Manager 5.3.3

三、CDH 5.3.3

安裝包下載：

• Cloudera Manager 5.3.3：http://archive-primary.cloudera.com/cm5/cm/5/

• CDH 5.5.5：http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/

下載軟件包：

1. CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel

2. CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1

3. manifest.json

3、系統環境準備工做

• 這次執行權限均爲root用戶

• 全部的機器都必須ssh互信模式

• 修改主機名使用hosts文件或者DNS服務器

• 關閉iptables和selinux

• 卸載系統自帶的openjdk,安裝oracle的jdk

• master節點安裝mysql

• 全部節點的時間必須同步(ntp服務器或其餘方法)

• 修改全部節點的內核參數

  i. echo 0 > /proc/sys/vm/swappiness

  ii.echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

4、正式開始安裝

一、cloudera manager默認的目錄是在/opt下，解壓到/opt目錄下。

# tar xf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz -C /opt/
# ls /opt/
cloudera  cm-5.3.3
#
# 安裝mysql-connector-java
# yum -y install mysql-connector-java

二、初始化數據庫

# /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
# mysql -uroot -p123456 -e "show databases;"    查看下cm數據庫是否建立成功

三、複製數據到其餘節點

# 修改配置文件server_host爲master節點的主機名
# grep server_host /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini
    server_host=master
# scp -rp /opt/cm-5.3.3 slave1:/opt/
# scp -rp /opt/cm-5.3.3 slave2:/opt/
#
# 每一個節點建立系統用戶
# useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scm

四、數據庫的配置

# hive
# create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# active monitor
# create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 受權master主機
# grant all on *.* to 'root'@'master' identified by 'PASSWD';

五、準備parcels安裝包到/opt/cloudera/parcel-repo/

# ls /opt/cloudera/parcel-repo/
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel  CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha  manifest.json
# 注意：CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha下載後的文件重命名的
#
# 啓動master節點的server和agent腳本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start
# server端口啓動較慢
#
# 啓動其餘全部節點的agent腳本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

5、CDH 5安裝配置

一、訪問http://master-ip:7180端口開始安裝

登錄名:admin 密碼:admin

二、選擇一個版本進行安裝，此處選擇第一個免費版。而後下一步-->下一步

三、選中全部主機：

四、若是配置正確，會出現以下界面

五、而後繼續下一步,因爲咱們已經下載了離線包，因此下載是很快就能完成的

六、主機檢測，檢測主機是否符合安裝要求，符合要求後會所有經過，不然請按照要求設置

七、而後選擇須要安裝的軟件包，能夠全選或自定義，也能夠選擇集成了某一個組件功能的軟件包來安裝

八、角色分配，此處默認，能夠按需調整

九、數據庫測試:

十、審覈更改參數，可使用默認，也能夠按需更改

十一、啓動正常的安裝配置了，等待安裝完成後再次訪問主頁便可。

十二、完成後的登錄界面

因爲主機性能較低，數據延遲很大，查詢常常沒法顯示。並且因爲此處的磁盤空間不足，因此有不少警告信息。到此安裝已所有完成。

6、其餘問題說明

oozie的web界面的開啓：

cloudera的文檔中有說明配置oozie：

安裝這個操做便可：

# mv ext-2.2.zip /var/lib/oozie/
# cd /var/lib/oozie
# unzip ext-2.2.zip

刷新界面：

hadoop2.x版本更新了一些新功能，支持HDFS的高可用等。cloudera manager管理界面能夠直接操做等這一系列的功能，仍是很方便的。

在集羣裏的HDFS界面的右上角有操做選項欄：

點擊後根據提示就能正常的配置了。管理界面添加移除集羣中的主機也是很是方便的，具體的操做就不一一演示了。

7、Hadoop測試程序

# 計算pi值
# sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100
...
Job Finished in 126.439 seconds
Estimated value of Pi is 3.14800000000000000000
# 能夠看到執行結果

能夠在YARN的web界面看到詳細job的信息

還有不少測試程序能夠運行測試。這裏就不一一演示了。

另外，這種安裝方式雖然快捷方便，可是不利於對總體的理解，建議仍是使用下載安裝包的方式安裝，配置文件等都是須要手動編寫的，對於理解比較深入。