Centos6 安裝cdh5.7

Centos6 安裝cdh5.7

•  安裝前的準備工做

•  JDK環境

版本：jdk-7u79-linux-x64.tar.gz

下載地址：oracle官網（http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html）

安裝上 會生成 /usr/local/jdk1.7.0_79

須要創建軟鏈接 ln –s /usr/local/jdk1.7.0_79 /usr/local/java

在來一個 ln –s /usr/local/java /usr/share/java

還來一個 ln -s /usr/local/java /usr/java/jdk1.7

加環境變量

export JAVA_HOME=/usr/local/java

export PATH=${JAVA_HOME}/bin:${PATH}

• mysql鏈接

http://dev.mysql.com/downloads/connector/j/

mysql-connector-java-5.1.47-bin.jar 我下載的這個

把下載的包放到/usr/local/

並從新命名 mysql-connector-java.jar

• CDH

先下載 cloudera manager安裝包 下載地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6- cm5.7.0_x86_64.tar.gz

下載 CDH 安裝包（parcel 包）下載地址：http://archive.cloudera.com/cdh5/parcels/5.7.0/

CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1

manifest.json

須要上面這3個

•  系統須要作的準備

Ntp 時間 全部機器的時間要同樣 （百度吧不會的簡單）

Ssh 互相（root用戶）

防火牆 selinux都不開（沒在考慮範圍）

Hosts 裏面要有全部服務器的解析 Ip hostname

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

本身設置開機啓動吧

• 安裝cdh

-----------------------------------------------------------manager機器---------------------------------------------------先操做 cloudera-manager 機器

mkdir -p /var/cloudera-scm-server

mkdir -p /opt/cloudera/parcel-repo

tar xf /opt/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz -C /opt/cloudera-manager

把另一個包放到這/opt/cloudera/parcel-repo（注意把sha1 換成這樣sha）

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

chown cloudera-scm:cloudera-scm /var/cloudera-scm-server

chown cloudera-scm:cloudera-scm /opt/cloudera-manager

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

-------------------------------------------------- manager機器-----------------------------------------------------------

-------------------------------------------------- 全部機器----------------------------------------------------------------

全部機器加用戶 cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini

# Hostname of the CM server.

server_host=node2 這個要指向manager的機器的地址 ip 也行

-------------------------------------------------- 全部機器----------------------------------------------------------------

-------------------------------------------------- manager機器-----------------------------------------------------------

在manager的機器指向cm server的數據庫初始化

方法一 ：

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql –h1.1.1.1 -uroot –pxxxx --scm-host 2.2.2.2 scm scm scm

上面這個命令須要root權限 沒有scm庫才執行

方法二：（建議這樣，數據庫咱們有dba管理人家不能給你root給你一個庫的權限）

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建庫

grant all privileges on scm.* to scm@'node2' identified by 'scm'; 受權

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -hnode1 --scm-host node2 scm scm scm #node1是數據庫的地址 Node2是manager地址 scm庫 scm 用戶 scm密碼

vim /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-server/db.properties 看看生成什麼

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server start 啓動服務

若是啓動失敗須要修改 /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

添加系統服務：

cp /opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

chkconfig --add cloudera-scm-server

chkconfig cloudera-scm-server on

-------------------------------------------------- manager機器-----------------------------------------------------------

-------------------------------------------------- 全部機器-----------------------------------------------------------

同理把/opt/cloudera-manager/cm-5.7.0/etc/init.d/下的cloudera-scm-agent 也設置成系統服務並啓動

cp cloudera-scm-agent /etc/init.d/

chkconfig --add cloudera-scm-agent

vim /etc/init.d/cloudera-scm-agent 不這樣會報啓動命令裏面的命令找不到路徑

CMF_DEFAULTS=/opt/cloudera-manager/cm-5.7.0/etc/default

/etc/init.d/cloudera-scm-agent start 啓動

把 /etc/init.d/cloudera-scm-agent 複製到所有機器

vi /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/config.ini 注意這個文件 到要指定到manager那臺機器

每臺都加系統服務和啓動

Web頁面登陸cdh安裝其餘軟件

7180端口訪問 manager的機器 admin admin 默認

這裏就注意了選擇新機器 若是沒有安裝剛纔的agent這裏也能安裝比我們上面的簡單

下面是版本的選擇

到這就安裝了一個沒有安裝agent的機器

選擇當前的管理主機

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 記得受權數據庫

grant all privileges on *.* to hive@'%' identified by 'xxx';

點擊測試經過就行

/etc/sudoers裏面的Defaults requiretty須要註釋掉。

在安裝服務界面，執行失敗時，點擊查看詳細信息，會給出這樣相似的錯誤信息。查看/opt/cloudera-manager/cm-5.4.1/run/cloudera-scm-agent/process目錄下相關日誌。 發現上面這個錯誤信息是因爲JAVA_HOME問題，啓動腳本中，JAVA_HOME並非根據環境變量來獲取，而是在它列舉的幾個目錄下尋找，因此只要把你的java路徑ln -s過去就行，好比個人 ln -s /usr/local/java /usr/java/jdk1.7

若是仍是不行後退一步在下一步

到這manager就完成了安裝

添加服務oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 建庫受權

grant all privileges on *.* to oozie@'%' identified by 'xxxx';

添加kafka服務

有個紅色警告

此角色須要在能夠啓動前激活如下其餘 Parcel：[kafka]。

出現上面的返回

報錯了沒關係，點到集羣主頁修改配置 不用點完成上面那個也行

修改完成配置再啓動完美解決 全部的記錄安裝就到這了有問題能夠聯繫我一塊兒來解決

• 更換kafka版本2

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka 這能夠查看版本對應關係

訪問cdh控制面板：

點擊圖標

再點擊配置

遠程parcel地址點擊➕號選擇

https://archive.cloudera.com/kafka/parcels/2.0.0/ 加上這個版本的parcel地址 點擊保存

在到集羣裏面點擊kafka

 

把服務中止。

在到禮物裏面把相應的版本中止

找到新的版本後點擊下載 在點激活 ，

/opt/cloudera/parcels/ 多了一個KAFKA的軟鏈接

執行一個命令看看狀況:

kafka-topics --zookeeper 10.10.32.21:2181 –describe ip爲ZooKeeper

的地址 看Leader：值有沒有-1的沒有就正常有就有問題了。