【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 構建Spark集羣（第三步）（2）

安裝Spark

 

Master、Slave一、Slave2這三臺機器上均須要安裝Spark。

首先在Master上安裝Spark，具體步驟以下：

第一步：把Master上的Spark解壓：

咱們直接解壓到當前目錄下：

此時，咱們建立Spark的目錄「/usr/local/spark」:

把解壓後的「spark-1.0.0-bin-hadoop1」複製到/usr/local/spark」下面：

第二步：配置環境變量

       進入配置文件：

在配置文件中加入「SPARK_HOME」並把spark的bin目錄加到PATH中：

配置後保存退出，而後使配置生效：

第三步：配置Spark

 

進入Spark的conf目錄：

在配置文件中加入「SPARK_HOME」並把spark的bin目錄加到PATH中：

把spark-env.sh.template 拷貝到spark-env.sh：

在配置文件中添加以下配置信息:

其中：

JAVA_HOME:指定的是Java的安裝目錄；

SCALA_HOME:指定的是Scala的安裝目錄；

SPARK_MASTER_IP:指定的是Spark集羣的Master節點的IP地址；

SPARK_WORKER_MEMOERY:指定的Worker節點可以最大分配給Excutors的內存大小，由於咱們的三臺機器配置都是2g，爲了最充分的使用內存，這裏設置爲了2g；

HADOOP_CONF_DIR:指定的是咱們原來的Hadoop集羣的配置文件的目錄；

 

保存退出。

接下來配置Spark的conf下的slaves文件，把Worker節點都添加進去：

打開後文件的內容：

咱們須要把內容修改成：

能夠看出咱們把三臺機器都設置爲了Worker節點，也就是咱們的主節點便是Master又是Worker節點。

保存退出。

上述就是Master上的Spark的安裝。

 

第四步：Slave1和Slave2採用和Master徹底同樣的Spark安裝配置，在此再也不贅述。