3.spark運行模式

spark支持的運行模式：本地模式、本地集羣模式、standalone模式、yarn模式及mesos模式。

本地模式

local、local[N]或local[N,maxRetries]。主要用於代碼調試和跟蹤。不具有容錯能力，不適用於生產環境。

本地模式只有Driver，沒有Master和Worker。執行任務的Executor與Driver在同一個JVM進程中。

本地集羣模式

local-cluster[N,cores,memory]。也主要用於代碼調試和測試，是源碼學習經常使用的模式。不具有容錯能力，不能用於生產環境。

Driver、Master與Worker運行在同一個JVM進程中。每一個Worker可啓動多個Executor，每一個Executor都是一個JVM進程。

Standalone模式

spark://。具有容錯能力而且支持分佈式部署運行。

Driver在集羣以外，能夠是任意的客戶端程序。Master部署於單獨的進程，甚至在單獨的機器上，能夠有多個，但只能有一個處於激活狀態。Worker部署於單獨的進程，推薦在單獨的機器上部署。

YARN模式

yarn模式是將任務管理與資源調度功能交給YARN框架進行處理的模式。分爲yarn-client和yarn-cluster兩種模式。

yarn-client適用於交互、調試，但願當即看到應用的輸出；yarn-cluster適用於生產環境。

yarn-cluster模式下，driver運行在AM（ApplicationMaster）中，負責向YARN申請資源並監控做業的運行情況。當用戶提交完做業後，就能夠關閉client，做業會繼續在YARN上運行。

yarn-cluster模式不適合運行交互類型的做業。而在yarn-client模式下，AM（ApplicationMaster）僅僅向YARN請求executor，client會和請求的executor通訊來調度工做，client不能離開。

Mesos模式

運行模式相似於YARN，分爲client和cluster兩種模式。資源調度器分爲粗粒度（默認）和細粒度（不推薦）。

---

忠於技術，熱愛分享。歡迎關注公衆號：java大數據編程，瞭解更多技術內容。