win10部署spark和jupyter

一. JAVA8安裝：

1. 安裝步驟（略）

2. 驗證：

java -version

 

二. Python3.6安裝：

1. 安裝步驟（略）

2. 驗證：

python --version

pip3 --version

 

三. scala安裝：

1. 安裝步驟：

下載地址：https://www.scala-lang.org/download/

下載scala-2.13.1.msi版本，點擊安裝

注意：scala的安裝目錄不能有空格，因此不能安裝到默認的 program profile 目錄下。

2. 驗證：

scala -version

 

四. spark安裝：

1. 安裝步驟：

下載地址：https://spark.apache.org/downloads.html

2. 配置環境變量：

配置SPARK_HOME

添加path：%SPARK_HOME%\bin;%SPARK_HOME%\sbin;

3. 驗證：

pyspark

（會報winutils錯誤）

 

五. hadoop配置（不配置會報winutils錯誤）

1.  配置步驟：

建一個{path}\hadoop\bin目錄

下載地址：https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip

將文件內容拷貝到{path}\hadoop\bin中。

2. 配置環境變量：

配置HADOOP_HOME

添加path：%HADOOP_HOME%\bin

3. 驗證：

pyspark

（不會報錯）

 

六. 安裝jupyter：

安裝步驟：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter

啓動：

jupyter notebook --ip 0.0.0.0

如下爲遠程訪問方式：

獲取帶token的連接：
jupyter notebook list

複製連接，將0.0.0.0替換爲實際ip，到瀏覽器登錄。

 

七. 其餘包：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple findspark

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib