Spark2.4.0僞分佈式環境搭建 Hadoop2.0僞分佈式平臺環境搭建

1、搭建環境的前提條件

　　環境：ubuntu-16.04

　　　　　hadoop-2.6.0

 　　　　  jdk1.8.0_161。

　　　　　spark-2.4.0-bin-hadoop2.6。這裏的環境不必定須要和我同樣，基本版本差很少都ok的，但注意這裏spark要和hadoop版本相對應。所需安裝包和壓縮包自行下載便可。

　　由於這裏是配置spark的教程，首先必需要配置Hadoop，配置Hadoop的教程在Hadoop2.0僞分佈式平臺環境搭建。配置Java以及安裝VMware Tools就自行百度解決哈，這裏就不寫了（由於教程有點長，可能有些地方有些錯誤，歡迎留言評論，我會在第一時間修改的）。

2、搭建的詳細步驟

　　一、首先確保Hadoop僞分佈式環境正在運行

　　　　

　　二、首先對spark安裝包解壓縮

tar -zxvf spark-2.4.0-bin-hadoop2.6

　　　　

　　三、進入spark/conf修改配置文件

cd spark-2.4.0-bin-hadoop2.6/
cd conf/
cp spark-env.sh.template spark-env.sh

　　　　而後在spark-env.sh文件最後添加內容　　

vim spark-env.sh　

　　　　

　　四、配置環境變量

vim ~/.bashrc

　　　　在文件最後加入spark的路徑

　　　　

　　　　保存使其當即生效。

source ~/.bashrc

　　五、啓動spark

cd ..
sbin/start-all.sh

　　　　

　　　jps查看進程

　　　　

　　　　出現上面這些節點說明搭建成功。

　　六、webUI查看

http://localhost:8080/

　　　　

　　七、若搭建成功的命令行界面，注意路徑

　　　　

　　　　退出命令爲 :quit 。