【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 構建Spark集羣（第三步）（1）

第一步：Spark集羣須要的軟件；

 在一、2講的從零起步構建好的Hadoop集羣的基礎上構建Spark集羣，咱們這裏採用2014年5月30日發佈的Spark 1.0.0版本，也就是Spark的最新版本，要想基於Spark 1.0.0構建Spark集羣，須要的軟件以下：

 

1.Spark 1.0.0，筆者這裏使用的是spark-1.0.0-bin-hadoop1.tgz， 具體的下載地址是http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgz

以下圖所示：

筆者是保存在了Master節點以下圖所示的位置：

2.下載和Spark 1.0.0對應的Scala版本，官方要求的是Scala必須爲Scala 2.10.x：

 筆者下載的是「Scala 2.10.4」，具體官方下載地址爲http://www.scala-lang.org/download/2.10.4.html 下載後在Master節點上保存爲：

第二步：安裝每一個軟件

 安裝Scala

1. 打開終端，創建新目錄「/usr/lib/scala」，以下圖所示：

 2.解壓Scala文件，以下圖所示：

把解壓好的Scala移到剛剛建立的「/usr/lib/scala」中，以下圖所示

3.修改環境變量:

進入以下圖所示的配置文件中：

按下「i」進入INSERT模式，把Scala的環境編寫信息加入其中，以下圖所示：

從配置文件中能夠看出，咱們設置了「SCALA_HOME」並把Scala的bin目錄設置到了PATH中。

按下「esc「鍵回到正常模式，保存並退出配置文件：

執行如下命令是配置文件的修改生效：

4.在終端中顯示剛剛安裝的Scala版本，以下圖所示

發現版本是」2.10.4」，這正是咱們指望的。

當咱們輸入「scala」這個命令的的時候，能夠直接進入Scala的命令行交互界面：

此時咱們輸入「9*9」這個表達式：

此時咱們發現Scala正確的幫咱們計算出告終果 。

此時咱們完成了Master上Scala的安裝；

 

因爲咱們的 Spark要運行在Master、Slave一、Slave2三臺機器上，此時咱們須要在Slave1和Slave2上安裝一樣的Scala，使用scp命令把Scala安裝目錄和「~/.bashrc」都複製到Slave1和Slave2相同的目錄之之下，固然，你也能夠按照Master節點的方式手動在Slave1和Slave2上安裝。

 

在Slave1上Scala安裝好後的測試效果以下：

在Slave2上Scala安裝好後的測試效果以下：

至此，咱們在Master、Slave一、Slave2這三臺機器上成功部署Scala。