CDH5.12.0 中擴容增長計算節點

CDH5.12.0 中擴容增長計算節點

標籤（空格分隔）： 大數據平臺構建

---

• 一： 環境準備
• 二： 增長節點環境系統初始化
• 三： 增長節點關於CDH5.12.0環境配置
• 四： 在CM 上面節點增長

---

一：環境的概述與準備

概述：

不少時候，企業的大數據環境（CDH5.12.0），根據使用的時間愈來愈長，空間會有不足的狀況，集羣的計算 能力也所以降低， 此時須要對將大數據的 集羣環境進行擴容 增長計算節點。

1.1 系統邏輯部署圖

1.2 安裝文件詳細信息列表：

CM:
cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
Jdk: 
   jdk-8u151-linux-x64.rpm

1.3 系統主機名

注意： 生產安裝環境 IP 地址 儘可能是連續的。屆時host 文件按照具體IP 地址進行配置。

二： 增長節點系統初始化

2.1： jdk 配置

root 用戶執行
卸載內置的open-jdk版本：

#rpm -e jdk-***.rpm 
把有關jdk 的包都卸載掉
# rpm -ivh jdk-8u151-linux-x64.rpm
# java -version

2.2: 配置系統時間chrony時間同步服務器：

root用戶執行命令：
安裝包：
yum install -y chrony*

echo "server 192.168.4.11  iburst" >> /etc/chrony.conf

啓動chrony.service 
/bin/systemctl restart chronyd.service 
/bin/systemctl enable chronyd.service 
chronyc sources -v

2.3 同步到bios 時間

root用戶執行命令

hwclock --localtime -w

2.4 關閉firewalld iptables 和禁用selinux

關閉iptables 
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state

關閉iptables

 iptables -F
 systemctl stop iptables.service 
 service iptables save 

禁用 selinux

sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config  
setenforce 0
getenforce 0
sestatus

重啓機器

reboot

2.5 修改文件系統的最大鏈接數：

以root用戶執行：
vim /etc/security/limits.conf
在最後加上：

*               soft    nofile          32728
*               hard    nofile          1029345
*               soft    nproc           unlimited
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited

2.6 配置新增節點服務器的無密鑰認證登陸

作root用戶無密鑰認證
 ssh-keygen ---一直敲回車到最後
 cat id_rsa.pub >> authorized_keys 
 將全部節點的公鑰導入authorized_keys  分發到 全部的 機器的.ssh/ 下面

 chmod 600 .ssh/authorized_keys

 而後進行無密鑰登陸認證測試

三： 增長節點關於CDH5.12.0環境配置

3.1： 安裝CDH5.12.0 組建所依賴的包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

3.2: 建立CM 的安裝目錄

root 用戶執行命名：
mkdir /opt/cloudera-manager
上傳已經下載好的CM 5.12.0軟件
cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
去哪裏下載：
http://archive.cloudera.com/cm5/cm/5/

3.3 解壓CM包到/opt/cloudera-manager

以root用戶執行命令：
tar -zxvf cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz -C /opt/cloudera-manager

3.4 修改agent 的配置文件config.ini

以root用戶執行命令：

cd /opt/cloudera-manager/cm-5.12.0/etc/cloudera-scm-agent
vim config.ini
server_host=NN01.sge.com.cn

3.5 建立cloudera-scm 用戶用做安裝

useradd --system --home=/opt/cloudera-manager/cm-5.12.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.6 提高cloudera-scm 的權限：

vim /etc/sudoers
在root 權限下面 增長 一行：
cloudera-scm    ALL=(ALL)       ALL

3.7 新建新增節點的目錄

以root用戶執行下面的命令：
mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/
新建目錄: 
mkdir -p /var/lib/cloudera-scm-server
mkdir -p /var/lib/cloudera-scm-agent
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server/
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-scm-agent/

3.8 啓動新增DN03的agent端

啓動CM-server的agent 端
cd /opt/cloudera-manager/cm-5.12.0/etc/init.d
./cloudera-scm-agent start

以root 用戶執行命令
echo "10" > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

vim /etc/rc.local

四：在CM 上面節點增長計算節點

4.1 增長一個主機的模板

建立一個新的主機簡單的模板：
只有hadoop 的組建 hdfs 的 DataNode 與 yarn 的NodeManager

後期若是須要增長角色能夠等計算節點已經增長到該 CDH集羣當中，在進行分配處理。

4.2 開始向CDH5.12.0集羣中增長主機

next

next

Next： 開始向該增長主機分發 parcel 
一直到分發完成。

Next：

Next： 選擇一開始建立的主機角色模板

查看新增主機的角色：主機--> 角色：

至此在CDH5.12.0 上面增長計算節點完成。