spark與Scala安裝過程和步驟及sparkshell命令的使用

Spark與Scala版本兼容問題：

Spark運行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。對於Scala API，Spark 2.4.2使用Scala 2.12。您須要使用兼容的Scala版本（2.12.x）。

請注意，自Spark 2.2.0起，對2.6.5以前的Java 7，Python 2.6和舊Hadoop版本的支持已被刪除。自2.3.0起，對Scala 2.10的支持被刪除。自Spark 2.4.1起，對Scala 2.11的支持已被棄用，將在Spark 3.0中刪除。

https://spark.apache.org/docs/latest/index.html

1.官網下載安裝Scala：scala-2.12.8.tgz

https://www.scala-lang.org/download/

2.將Scala解壓到/opt/module目錄下

tar -zxvf scala-2.12.8.tgz -C /opt/module

3.將scala-2.12.8改爲Scala

mv scala-2.12.8 scala

4.測試scala是否安裝成功

測試：scala -version

5.啓動Scala命令：scala

1.官網下載安裝Spark：spark-2.4.2-bin-hadoop2.7.tgz

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

2.解壓、重命名

ar -zxvf spark-2.4.2-bin-hadoop2.7.tgz -C /opt/module

mv spark-2.4.2-bin-hadoop2.7.tgz spark

3.配置環境變量

export SPARK_HOME=/opt/module/spark

export PATH=$PATH:$SPARK_HOME/bin #

使環境變量生效 ：source /etc/profile

4.啓動spark

①先啓動hadoop 環境 

start-all.sh

②啓動spark環境

進入到SPARK_HOME/sbin下運行start-all.sh

[注] 若是使用start-all.sh時候會重複啓動hadoop配置，須要./在當前工做目錄下執行命令

jps 觀察進程 多出 worker 和 mater 兩個進程。

5.查看spark的web控制頁面：http://bigdata128:7077/

使用Spark-shell命令

此模式用於interactive programming，先進入bin文件夾後運行：spark-shell