spark應用運行大體流程

1 用戶通過spark-submit腳本提交應用 2 spark-submit腳本啓動驅動器程序，調用用戶定義的main()方法 3 驅動器程序與集羣管理器通信，申請資源以啓動執行器節點 4 集羣管理器爲驅動器程序啓動執行器節點 5 驅動器進程執行用戶應用中的操作。根據程序中所定義的對RDD的轉化操作和行動操作，驅動器節點把工作以任務的形式發送到執行器進程 6 任務在執行器程序中進行計算並保存結果

>>阅读原文<<