在 Ubuntu16.04 中搭建 Spark 單機開發環境 (JDK + Scala + Spark)

1.準備

本文主要講述如何在Ubuntu 16.04 中搭建 Spark 2.11 單機開發環境，主要分爲 3 部分：JDK 安裝，Scala 安裝和 Spark 安裝。

1. JDK 1.8：jdk-8u171-linux-x64.tar.gz
2. Scala 11.12：Scala 2.11.12
3. Spark 2.2.1：spark-2.2.1-bin-hadoop2.7.tgz

須要注意的是，Spark 版本與 Scala 版本須要匹配一致。

Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support.

2.JDK 安裝

下載 jdk-8u171-linux-x64.tar.gz 後，解壓到本身指定目錄。

$ sudo mkdir /usr/local/java
$ sudo tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/java

配置環境變量,打開 profile 文件

$ sudo gedit /etc/profile

在文件末尾寫入，注意 JAVA_HOME 是 JDK 的安裝路徑：

export JAVA_HOME=/usr/local/java/jdk1.8.0_171 
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

保存後退出，運行以下命令，使修改環境變量便可生效:

$ source /etc/profile

檢測java是否成功安裝

$ java -version

3.Scala 安裝

下載 Scala 2.11.12 後，解壓到本身指定目錄。

$ sudo mkdir /usr/local/scala
$ sudo tar -zxvf scala-2.11.12.tgz -C /usr/local/scala

配置環境變量,打開 profile 文件

$ sudo gedit /etc/profile

在文件末尾寫入，注意 SCALA_HOME 是 Scala 的安裝路徑：

export SCALA_HOME=/usr/local/scala/scala-2.11.12 
export PATH=${SCALA_HOME}/bin:$PATH

保存後退出，運行以下命令，使修改環境變量便可生效:

$ source /etc/profile

檢測java是否成功安裝

$ scala  -version

4.Spark 安裝

下載 spark-2.2.1-bin-hadoop2.7.tgz 後，解壓到本身指定目錄。

$ sudo mkdir /usr/local/spark
$ sudo tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/spark

配置環境變量,打開 profile 文件

$ sudo gedit /etc/profile

在文件末尾寫入，注意 SPARK_HOME 是 Spark 的安裝路徑：

export SPARK_HOME=/usr/local/spark/spark-2.2.1-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH

保存後退出，運行以下命令，使修改環境變量便可生效:

$ source /etc/profile

檢測java是否成功安裝

$ spark-shell