Spark Standalone僞分佈式安裝

Standalone僞分佈式安裝

實驗環境

·操做機：Windows XP

·目標機：1臺CentOS 7虛擬機

配置：IP：192.168.129.100

主機名：hadoop1

內存：1GB

硬盤：20GB

實驗工具

·Xshell6：是一個強大的安全終端模擬軟件，它支持SSH1, SSH2, 以及Microsoft Windows 平臺的TELNET 協議。

·Xftp6：是一個功能強大的SFTP、FTP 文件傳輸軟件。

實驗內容

Standalone僞分佈式，在單機啓動多個線程來模擬集羣下的分佈式場景。

本實驗使用Xshell6和Xftp6對一臺CentOS服務器進行遠程鏈接操做，使用一臺服務器安裝spark standalone僞分佈式

實驗步驟

1.使用xshell鏈接虛擬機

（1）下載xshell和xftp，下載地址：

https://www.netsarang.com/zh/free-for-home-school/

（2）打開下載好的xshell，鏈接虛擬機,點擊文件->新建，填寫主機ip地址，

（3）雙擊新建的會話

2.使用xftp鏈接虛擬機

（1）使用下載好的xftp鏈接虛擬機，點擊文件->新建

（2）輸入主機地址，用戶名密碼，點擊確認

（3）點擊新建立的回話，鏈接

3.安裝JDK

（1）在服務器的/opt/目錄下建立soft-install文件夾來存放安裝的軟件：mkdir /opt/soft-install

（2）建立soft目錄來安裝軟件：mkdir /opt/soft

（3）Jdk下載地址：

https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

（4）使用xftp6將壓縮包傳到服務器

（4）將jdk解壓到/opt/soft/目錄下：

tar -zxvf jdk-8u201-linux-x64.tar.gz -C /opt/soft/

（5）修改環境變量

sudo vi /etc/profile

（6）在文件最後下添加：

export JAVA_HOME=/opt/soft/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

（7）刷新配置文件：source /etc/profile

（8）測試java環境：java -version

4.安裝scala

（1）官網下載：https://www.scala-lang.org/download/2.11.12.html

（2）經過xftp發送到服務器

（3）解壓到/opt/soft

tar -zxvf scala-2.11.12.tgz -C /opt/soft/

（4）修改環境變量

vi /etc/profile

（5）在最後添加：

（6）刷新配置文件

source /etc/profile

（7）檢查是否安裝完成

scala -version

5.安裝spark

（1）經過官網下載spark

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz

（2）使用xftp發送到服務器

（3）將spark安裝包解壓到/opt/soft

tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/soft/

（4）重命名spark根目錄

mv /opt/soft/spark-2.4.0-bin-hadoop2.7/ /opt/soft/spark-2.4.0

（5）配置環境變量

vi /etc/profile

（6）最尾巴加入

export SPARK_HOME=/opt/soft/spark-2.4.0
export PATH=$PATH:$SPARK_HOME/bin

（7）刷新環境變量

source /etc/profile

6.配置spark

（1）首先咱們把緩存的文件spark-env.sh.template改成spark識別的文件spark-env.sh

cp spark-env.sh.template spark-env.sh

（2）修改spark-env.sh，在尾巴加入:

export JAVA_HOME=/opt/soft/jdk1.8.0_201
export SCALA_HOME=/opt/soft/scala-2.11.12
export SPARK_MASTER_IP=hadoop1 #本地的ip或主機名
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

7.啓動spark

cd /opt/soft/spark-2.4.0

./sbin/start-all.sh

能夠看到新開啓的Master和Worker兩個進程

成功打開Spark集羣以後能夠進入Spark的WebUI界面，能夠經過（服務的ip地址：8080）進行訪問

8.打開Spark-shell

spark-shell

進入了spark-shell

同時，由於shell在運行，能夠經過（服務的ip地址：4040）進行訪問