大數據集羣環境搭建——服務器篇

現在咱們已經進入大數據時代，在校大學生及各個公司不少都開始學習大數據。那麼要學習大數據，第一步就是要搭建分佈式集羣環境。雖然說dreamtecher也是個剛學習大數據沒多久的小白，可是也願意爲剛剛開始學習大數據的小小白們作一些貢獻。接下來，本小白帶你們一步步搭建一個大數據的分佈式環境。本文爲《大數據集羣環境搭建》的第一篇，服務器搭建篇。服務器採用五臺CentOS 7 虛擬機，分別爲master1 master2 slave1 slave2 slave3，安裝模式爲基礎服務器

一、建立用戶

注：請在root用戶下執行本節操做

建立用戶賬號：

useradd hadoop

完成後會在/home下建立hadoop目錄，做爲用戶目錄。若沒有建立，則手動建立：

mkdir /home/hadoop

將全部者賦予hadoop用戶和組：

chown hadoop:hadoop /home/hadoop
chmod 700 /home/hadoop

修改hadoop用戶密碼：

passwd hadoop

以下命令驗證是否成功建立：
方法一：

cat /etc/passwd | grep hadoop

打印出hadoop用戶配置信息
方法二：

su hadoop

能成功切換用戶到hadoop，且cd命令直接回到家目錄/home/hadoop。

二、網絡配置

注：請在root用戶下操做。

2.1 配置系統IP地址

編輯文件/etc/sysconfig/network-scripts/ifcfg-eth0，寫入以下配置：

DEVICE="eth0"
BOOTPROTO="static"
IPADDR=192.168.1.72
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
ONBOOT="yes"

注意：每一個節點配置本身對應的IP。

2.2 配置網絡hostname

編輯文件/etc/sysconfig/network

NETWORKING=yes
HOSTNAME=master1

2.3 配置本機hostname

編輯文件/etc/hostname

master1

此處應寫入本機的hostname，好比master2服務器就寫master2，slave1服務器就寫slave1
執行以下命令重啓network服務： service network restart
若是控制檯出現[OK]說明配置成功

2.4 配置系統hosts文件

文件位置/etc/hosts，添加全部節點的hostname映射。

192.168.1.72 master1
192.168.1.73 master2
192.168.1.74 slave1
192.168.1.75 slave2
192.168.1.76 slave3
192.168.1.78 slave4
192.168.1.80 slave5

所有虛擬機配置完成後可以使用ping <hostname>測試各hostname映射ip是否正確。

三、配置SSH免登陸

大數據集羣中各個服務器間通訊都須要使用ssh免登陸，具體操做請你們自行搜索，網上的資源很是豐富。

四、關閉防火牆

CentOS的防火牆會阻擋大部分端口的通訊，若是是真實服務器的環境確定要爲防火牆配置出入端口的規則，可是咱們此次安裝的虛擬機服務器做爲內網中使用的大數據環境，能夠直接關閉防火牆。

systemctl stop firewalld.service #中止
systemctl disable firewalld.service #禁用