Spark Local模式安裝

Local模式安裝

實驗環境

·操做機：Windows 7

實驗工具

·無

實驗內容

Local模式就是本地運行模式，用單機的多個線程來模擬Spark分佈式計算，一般用來驗證開發出來的應用程序邏輯上有沒有問題。

本實驗經過window環境下載安裝配置spark，使用local進行樣例測試，spark-shell的打開

實驗步驟

1.安裝jdk

（1）官網下載jdk：

https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

（2）解壓jdk到D:\Java目錄下

（3）添加系統變量，從桌面電腦圖標右鍵進入「屬性」界面，選擇「高級系統配置」，選擇「環境變量」，而後選擇「系統變量」下的新建，添加一個JAVA_HOME的變量，變量值爲Java安裝路徑（可以看到bin文件夾的路徑）

（4）往系統變量Path裏追加「；Java_HOME\bin」，注意：win10系統按照如下格式添加，win7應該是字符串格式，若是沒有分號必定要本身補上！

2.安裝spark

（1）經過官網下載spark：

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

（2）添加系統變量

（3）往系統變量Path裏追加「；Java_HOME\bin」

3.運行樣例程序

（1）移動至d盤

D:

（2）移動到spark目錄的bin子目錄下

cd D:\spark\spark-2.4.0-bin-hadoop2.7\bin

（3）運行樣例程序

run-example SparkPi 4 4

能夠看到結果Pi is roughly 3.1493878734696836

4.運行spark-shell

spark-shell