【Spark】- 單機模式部署

單機部署：單臺主機運行Spark,不依賴YARN、MESOS管理資源

Saprk版本：spark-2.2.1-bin-hadoop2.7

部署步驟：

1. 解壓Spark的二進制壓縮包,最好配置環境變量

2. 啓動master節點：./sbin/start-master.sh

webUI訪問端口：8080

Master默認監聽端口：7077

3. 啓動woker節點：./sbin/start-slave.sh <master-spark-URL>

例如：start-slave.sh spark://debian:7077

參數：表示master節點的訪問地址（注意host-ip映射）

4. 鏈接單機Spark集羣：spark-shell --master spark://debian:7077 （Spark Scala交互式開發環境，「:quit」退出）

5. 單機提交Spark自帶測試做業：計算PI

命令：spark-submit --class org.apache.spark.examples.SparkPi --master spark:// debian:7077 examples/jars/spark-examples_2.11-2.2.1.jar 100

Master UI界面介紹：