CDH-slave安裝部署

CDH slave 安裝文檔

集羣安裝的依賴軟件

一、JDK的安裝包
二、MYSQL的安裝包
三、CDH相關安裝包
四、虛擬機準備

 

約定：
1，本教程中的軟件版本可能與讀者的版本不一致，請注意自行修改
2，針對LINUX系統版本爲 Centos 7
3，不要使用拷貝ppt代碼，後果自負

JDK的安裝

1，查看本地是否存在JDK，執行SHELL命令 java –version

Centos可能包含以下信息
java version "1.7.0_75" OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13) OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)

2，若是不存在，略過。若是存在須要進行卸載

執行以下：rpm -qa | grep jdk
返回以下：
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

rpm -e --nodeps 加上返回的結果
3，安裝JDK
rpm -ivh jdk-8u101-linux-x64.rpm

修改節點服務器配置

有關配置hostname、selinux關閉，防火牆關閉 hostname修改

1，執行命令以下：vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slave1

2，執行命令以下：vi /etc/hostname
刪除文件內容
輸入以下 slave1

3，修改HOST映射，執行命令以下：vi /etc/hosts
ipDress1 master
ipDress2 slave1
ipDress3 slave2
ipDress1, ipDress2, ipDress3分別爲master, slave1, slave2服務器IP地址

有關配置hostname、selinux關閉，防火牆關閉 hostname修改

4，selinux關閉，執行命令以下：vim /etc/sysconfig/selinux
修改SELINUX=disabled

5, 重啓虛擬機，執行命令：reboot

更改防火牆配置

依次執行命令以下：
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
執行完顯示以下：
firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)
Active: inactive (dead)

安裝時間同步服務

爲何須要時間同步？思考題

安裝步驟以下：
1，執行命令以下：yum -y install ntp
2，安裝完成事後執行：vi /etc/ntp.conf

註釋掉全部server *.*.*的指向，新添加一條語句將ntp指向master服務器,ipDress 爲master服務器IP地址
server ipDress iburst

啓動時間同步服務 service ntpd start
執行命令 ntpdate -u master
重啓時間同步服務 service ntpd restart

SSH無密碼登陸配置

爲何須要無密碼登錄？思考題

依次執行命令以下

ssh-keygen -t rsa 一直使用默認

ssh-copy-id ipDress1
ssh-copy-id ipDress2

ipDress1和ipDress2分別爲從節點master和slave2的IP地址

1，查看是否已經安裝MYSQL執行命令以下：rpm -qa | grep mariadb

2，若是存在 執行卸載 yum remove mariadb-libs 或者yum remove mariadb
或者 rpm -e --nodeps 加上返回的結果

3，拷貝mysql-connector-java-5.1.25-bin.jar到/usr/share/java/mysql-connector-java.jar

安裝Cloudera-Manager

一、解壓cm tar包到指定目錄
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/cloudera-manager
2，建立cloudera-scm用戶
useradd --system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3，配置從節點cloudera-manger-agent指向主節點服務器
vim /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini
將server_host改成CMS所在的主機名即master

4，建立parcels目錄
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
解釋：Clouder-Manager將CDHs從主節點的/opt/cloudera/parcel-repo目錄中抽取出來，分發解壓激活到各個節點的/opt/cloudera/parcels目錄中

yum install perl

 

啓動從節點CLOUDERA SCM AGENT

執行命令以下：

mkdir /opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-agent
cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent

修改變量路徑

vim /etc/init.d/cloudera-scm-agent
將CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改成=/opt/cloudera-manager/cm-5.11.1/etc/default
而後執行

chkconfig cloudera-scm-agent on
service cloudera-scm-agent start

等待SERVER 與 AGENT節點的啓動完成

視機器配置的高地影響，啓動時間不定。

打開fire fox或者chrome ，輸入網址
進入（本身的IP地址：主節點）192.168.160.130:7180 默認使用admin admin登陸

 

上一篇：《CDH Master安裝部署》：http://www.javashuo.com/article/p-azzbmrkv-r.html