大數據平臺搭建-基礎環境安裝

本系列文章主要闡述大數據計算平臺相關框架的搭建，包括以下內容：

• 虛擬服務器安裝
• 基礎環境安裝
• zookeeper集羣的搭建
• kafka集羣的搭建
• hadoop/hbase集羣的搭建
• spark集羣的搭建
• flink集羣的搭建
• elasticsearch集羣的搭建
• alluxio集羣的搭建

本文主要闡述基礎環境的安裝，主要是服務器間免密登陸，java安裝和scala安裝。 #免密登陸

因爲後續涉及到各類軟件的安裝，毫無疑問會用到服務器間的文件傳輸，爲了後續再也不重複輸入密碼，同時搭建Hadoop環境均須要設置無密碼登錄。所謂無密碼登錄實際上是指經過證書認證的方式登錄，使用一種被稱爲"公私鑰"認證的方式來進行ssh登陸。
" 公私鑰"認證方式簡單的解釋:首先在客戶端上建立一對公私鑰 （公鑰文件：~/.ssh/id_rsa.pub； 私鑰文件：~/.ssh/id_rsa）。而後把公鑰放到服務器上（~/.ssh/authorized_keys）, 本身保留好私鑰.在使用ssh登陸時,ssh程序會發送私鑰去和服務器上的公鑰作匹配.若是匹配成功即登陸。
操做前確認系統已經安裝了SSH。

rpm –qa | grep openssh
rpm –qa | grep rsync

若是沒有安裝ssh和rsync，能夠經過下面命令進行安裝。

yum install ssh -->安裝SSH協議
yum install rsync -->rsync是一個遠程數據同步工具，可經過LAN/WAN快速同步多臺主機間的文件
service sshd restart -->啓動服務

資源列表以下：

<table> <tr>

<td>主機名</td>
<td>ip地址</td>

</tr> <tr> <td>bigdata1</td> <td>192.168.220.200</td> </tr>

<tr> <td>bigdata2</td> <td>192.168.220.201</td> </tr>

<tr> <td>bigdata3</td> <td>192.168.220.202</td> </tr>

<tr> <td>bigdata4</td> <td>192.168.220.203</td> </tr>

<tr> <td>bigdata5</td> <td>192.168.220.204</td> </tr> </table>

主機名的設置，請參考虛擬服務器安裝。

結合公私鑰的定義，要設置這5個主機間的免密登陸過程以下：

1. bigdata一、bigdata二、bigdata三、bigdata四、bigdata5各自生成公鑰id_rsa和私鑰id_rsa.pub
2. 而後選擇其中一個節點(bigdata1,可隨意選擇)當作主節點，將其餘四個節點的公鑰(bigdata二、bigdata三、bigdata四、bigdata5)的文件傳送到bigdata1
3. 利用全部服務器的公鑰製做認證文件authorized_keys
4. 修改認證文件的權限，並下發到全部節點便可。

##設置hosts 切換至root用戶，編輯hosts文件

su root
vi /etc/hosts

設置完成後內容以下：

[root@bigdata1 oracle]# cat /etc/hosts
127.0.0.1      localhost localhost.localdomain localhost4 localhost4.localdomain4
::1            localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.220.200  bigdata1
192.168.220.201  bigdata2
192.168.220.202  bigdata3

192.168.220.203  bigdata4
192.168.220.204  bigdata5
[root@bigdata1 oracle]#

##生成密鑰 bigdata一、bigdata二、bigdata三、bigdata四、bigdata5各個節點均需執行。

• 切換到主目錄，查看是否存在.ssh文件夾(用來存放密鑰的)，若是沒有，能夠建立或者嘗試從本機登陸到其餘主機則會自動生成該目錄。

  cd ~
    mkdir .ssh

• 切換至.ssh目錄

  cd ~/.ssh

• 生成密鑰，輸入以下命令，而後連續按回車鍵

  ssh-keygen -t rsa -P ""

操做完成後結構以下

[root@bigdata1 .ssh]# pwd
	/home/oracle/.ssh
	[root@bigdata1 .ssh]# ll
	-rw------- 1 oracle oracle 1675 Jul 22 20:39 id_rsa
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub
	-rw-r--r-- 1 oracle oracle 3173 Jul 23 11:52 known_hosts
	[root@bigdata1 .ssh]#

##公鑰上報

• 複製公鑰(bigdata一、bigdata二、bigdata三、bigdata四、bigdata5全部節點均執行)

  cd ~/.ssh
    cp id_rsa.pub id_rsa.pub.$(hostname)

• 公鑰上報(bigdata二、bigdata三、bigdata四、bigdata5這4個節點將公鑰傳送至bigdata1)

  scp ~/.ssh/id_rsa.pub.* oracle@bigdata1:/home/oracle/.ssh/

操做完成後，bigdata1節點.ssh目錄結構以下：

[root@bigdata1 .ssh]# pwd
	/home/oracle/.ssh
	[root@bigdata1 .ssh]# ll
	total 32
	-rw------- 1 oracle oracle 1675 Jul 22 20:39 id_rsa
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:39 id_rsa.pub.bigdata1
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:43 id_rsa.pub.bigdata2
	-rw-r--r-- 1 oracle oracle  397 Jul 22 20:43 id_rsa.pub.bigdata3
	-rw-r--r-- 1 oracle oracle  397 Jul 23 11:50 id_rsa.pub.bigdata4
	-rw-r--r-- 1 oracle oracle  397 Jul 23 11:50 id_rsa.pub.bigdata5
	-rw-r--r-- 1 oracle oracle 3173 Jul 23 11:52 known_hosts
	[root@bigdata1 .ssh]#

##認證文件的製做和下發

• 用全部節點的公鑰製做認證文件（bigdata1節點執行）

  cat /home/oracle/.ssh/id_rsa.pub.bigdata1 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata2 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata3 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata4 >> /home/oracle/.ssh/authorized_keys
    cat /home/oracle/.ssh/id_rsa.pub.bigdata5 >> /home/oracle/.ssh/authorized_keys

• 權限更改（bigdata1節點執行）

• chmod 600 /home/oracle/.ssh/authorized_keys

• 認證文件下發（bigdata1節點執行)

  scp /home/oracle/.ssh/authorized_keys oracle@bigdata2:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata3:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata4:/home/oracle/.ssh/
    scp /home/oracle/.ssh/authorized_keys oracle@bigdata5:/home/oracle/.ssh/

##驗證 執行以下命令，依次驗證(bigdata一、bigdata二、bigdata三、bigdata四、bigdata5各個節點均執行)

ssh bigdata1 
ssh bigdata2
ssh bigdata3
ssh bigdata4
ssh bigdata5
ssh 192.168.220.200  
ssh 192.168.220.201  
ssh 192.168.220.202 
ssh 192.168.220.203  
ssh 192.168.220.204

若是的確不須要輸入密碼，即驗證經過

#java安裝 java的安裝，無論是linux平臺仍是windows平臺，比較相似，安裝完成後配置環境變量便可。

##下載 登陸官網jdk下載選擇對應的版本下載便可，本文選擇jdk-8u181-linux-i586.tar.gz。

##安裝和環境變量配置 切換至主目錄

cd ~

解壓

tar -zxvf jdk-8u181-linux-i586.tar.gz

重命名

mv jdk1.8.0_181 jdk

編輯環境變量

vi ~/.bash_profile

配置完成後結果以下：

[oracle@bigdata1 install]$ cat ~/.bash_profile 
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs



export JAVA_HOME=/home/oracle/jdk
export PATH=$JAVA_HOME/bin:/sbin:$PATH
export PATH JAVA_HOME

[oracle@bigdata1 install]$

驗證

輸入java -version,顯示正確的版本即表示安裝成功。
[oracle@bigdata1 install]$ java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) Server VM (build 25.181-b13, mixed mode)

#scala安裝

scala的安裝，無論是linux平臺仍是windows平臺，比較相似，安裝完成後配置環境變量便可。

##下載 登陸官網scala下載選擇對應的版本下載便可，本文選擇scala-2.11.8.tgz。

##安裝和環境變量配置 切換至主目錄

cd ~

解壓

tar -zxvf scala-2.11.8.tgz

重命名

mv scala-2.11.8 scala

編輯環境變量

vi ~/.bash_profile

配置完成後結果以下：

[oracle@bigdata1 install]$ cat ~/.bash_profile 
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs



export JAVA_HOME=/home/oracle/jdk
export SCALA_HOME=/home/oracle/scala
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:/sbin:$PATH
export PATH JAVA_HOME SCALA_HOME

驗證

輸入scala -version,顯示正確的版本即表示安裝成功。

[oracle@bigdata1 install]$ scala -version
Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL

本文主要闡述基礎環境的安裝，主要是服務器間免密登陸，java安裝和scala安裝,以便後續構建大數據平臺。

---

關於做者 愛編程、愛鑽研、愛分享、愛生活 關注分佈式、高併發、數據挖掘