大數據集羣搭建 - 1. CDH集羣安裝 - 環境準備

集羣環境準備

1、機器準備

首先須要準備3臺機器或者虛擬機，安裝好centos7.5版本和JDK1.8。

咱們此次準備安裝的是Cloudera的CDH 5.14.3 。

TIPS：快速建立機器的技巧是規範好要裝的軟件，迅速利用鏡像功能建立好三臺機器出來。

ip地址這裏咱們設置爲192.168.168.81，192.168.168.82，192.168.168.83。

若是是本地的虛擬機，須要本身配置IP地址。

咱們以192.168.168.81爲例子。

進入網絡配置目錄
cd /etc/sysconfig/network-scripts

編輯網卡配置文件，這裏的ens33根據您實際的網卡名稱來。
vi ifcfg-ens33 

這裏注意幾個參數
BOOTPROTO=static  # 這裏須要設置爲靜態的ip地址
ONBOOT=yes # 啓動的時候打開網絡，否則不能聯網
IPADDR=192.168.168.81 # 你要設置的IP地址，這裏最好不要在DHCP範圍內，避免IP衝突
GATEWAY=192.168.168.2 # 網關
NETMASK=255.255.255.0 # 網絡掩碼
DNS1=8.8.8.8  # google的 DNS服務器
DNS2=192.168.168.2  # 網關作DNS服務器

最後重啓網絡服務。
service network restart

網絡模型參考:
https://www.linuxidc.com/Linux/2016-09/135521.htm

2、修改hostname和hosts文件

1.查看hostname

在每臺機器上咱們能夠經過命令
hostname

2. 修改hostname

在192.168.168.81上執行命令，修改主機名稱爲dev-hd001。
hostnamectl set-hostname dev-hd001

在192.168.168.82上執行命令，修改主機名稱爲dev-hd002。
hostnamectl set-hostname dev-hd002

在192.168.168.82上執行命令，修改主機名稱爲dev-hd002。
hostnamectl set-hostname dev-hd003

3.修改hosts文件

在每一臺機器的hosts文件中加入以下內容。
vim /etc/hosts
192.168.168.81  dev-hd001  hd1
192.168.168.82  dev-hd002  hd2
192.168.168.83  dev-hd003  hd3

3、關閉防火牆和selinux

1.關閉防火牆

查看默認防火牆狀態。
（關閉後顯示notrunning，開啓後顯示running）
firewall-cmd --state 

中止firewall
systemctl stop firewalld.service 

禁止firewall開機啓動
systemctl disable firewalld.service 

若是安裝了iptables, 咱們還須要關閉iptables

查看iptables狀態
service iptables status

中止iptables
service iptables stop

啓動的時候關閉iptables
chkconfig iptables off

2.關閉selinux

永久關閉selinux，須要經過修改配置文件/etc/selinux/config。
vim /etc/selinux/config

修改SELINUX。參數可選（enforcing、permissive、disabled）
SELINUX=disabled

須要reboot重啓生效。

4、安裝ssh免密碼登陸

1. 免密登陸原理

如今咱們有A和B兩臺機器。

1.咱們在A上生成一對密鑰。
2.將在A上生成的公鑰拷貝給B機器，添加到~/.ssh/authorized_keys這個文件中。
3.A向B發送一個鏈接請求，信息包括用戶名,IP等
4.B的到A的信息後，回到authorized_keys中查找，若是有對應的用戶名和ip, B會隨機生成一個字符串，好比"DMAC"。
5.B使用公鑰對字符串"DMAC"進行加密，而後發送給A。
6.A獲得B發來的消息後，使用私鑰進行解密，而後將解密後的字符串發送給B.
7.B接收到A發過來的字符串後，會跟先前生成的字符串進行對比，若是一致，就容許免密碼登陸。

2.操做步驟

1.確認有沒有~/.ssh目錄，沒有的話
mkdir ~/.ssh

2.在dev-hd001機下生成公鑰和私鑰對。
ssh-keygen
這裏直接三次回車，會看到在~/.ssh有id_rsa文件和id_rsa.pub文件。

id_rsa.pub文件是公鑰文件。
能夠經過cat命令查看。
cat id_rsa.pub

3.從dev-hd001機器拷貝公鑰到dev-hd002機器。
ssh-copy-id -i root@dev-hd002

ssh-copy-id命令能夠把本地主機的公鑰複製到遠程主機的authorized_keys文件上。
ssh-copy-id命令也會給遠程主機的用戶主目錄（home）和~/.ssh, 和~/.ssh/authorized_keys設置合適的權限。

4.在dev-hd001上登陸到dev-hd002
ssh root@dev-hd002
logout 登出