Spark環境搭建（七）-----------spark的Local和standalone模式啓動

spark的啓動方式有兩種，一種單機模式（Local），另外一種是多機器的集羣模式（Standalone）

 

Standalone

搭建：

　　準備：hadoop001,hadoop002兩臺安裝spark的機器

　　1） 在$SPARK_HOME/conf中新建 spark-env.sh,並加入如下內容

　　

SPARK_MASTER_HOST=hadoop001　　　　#設置master的host
SPARK_WORKER_CORES=2　　　　　　　　#設置core的個數給worker
SPARK_WORKER_MEMORY=2g　　　　　　　#設置worker內存
SPARK_WORKER_INSTANCES=1　　　　　 #一個worker啓動幾個實例

 　　2) 在$SPARK_HOME/conf/slaves中寫入(前提是hosts文件中對host有映射)

　　　　hadoop002

　　3）sbin/start-all.sh啓動全部的節點

　　4）查看hadoop001:8080

　　

　　　能夠看出有；兩個worker,分別在108和109的機器上，4個core（每一個worker兩個core）,worker佔用內存共4G。

 使用：

　　在bin目錄下

　　命令：　./spark-shell --master spark://hadoop001:7077

　　解釋：在主節點master下啓動一個shell命令

　　在webUI中能夠看出，產生一個app,默認將全部的core都使用完畢，並且默認每一個core使用1G的內存

　　

 

Local

　　Local很簡單，不需其餘配置，在bin目錄下 使用命令

　　　　

./spark-shell  --master  local[2]

 　　在本機啓動一個master 經過本地的兩個線程啓動