spark-env.sh配置

SPARK_MASTER_IP       綁定一個外部IP給master.

SPARK_MASTER_PORT        從另一個端口啓動master(默認: 7077)

SPARK_MASTER_WEBUI_PORT  Master的web UI端口 (默認: 8080),這個端口太經常使用，建議換一個

SPARK_WORKER_PORT       啓動Spark worker 的專用端口(默認：隨機)

SPARK_WORKER_DIR        伸縮空間和日誌輸入的目錄路徑(默認: SPARK_HOME/work);

SPARK_WORKER_CORES      做業可用的CPU內核數量(默認: 全部可用的);

SPARK_WORKER_MEMORY      做業可以使用的內存容量，默認格式1000M或者 2G (默認: 全部RAM去掉給操做系統用的1 GB);注意：每一個做業本身的內存空間由SPARK_MEM決定。

SPARK_WORKER_WEBUI_PORT  worker 的web UI 啓動端口(默認: 8081)

SPARK_WORKER_INSTANCES  沒太機器上運行worker數量 (默認: 1). 當你有一個很是強大的計算機的時候和須要多個Spark worker進程的時候你能夠修改這個默認值大於1 . 若是你設置了這個值。要確保SPARK_WORKER_CORE 明確限制每個r worker的核心數, 不然每一個worker 將嘗試使用全部的核心

SPARK_DAEMON_MEMORY      分配給Spark master和 worker 守護進程的內存空間 (默認: 512m)

SPARK_DAEMON_JAVA_OPTS  Spark master 和 worker守護進程的JVM 選項(默認: none)