Spark任務執行流程

Spark任務執行流程 DAGScheduler 和TaskScheduler都在Driver端（開啓spark-shell的那一端），main函數創建SparkContext時會使得driver和Master節點建立連接，Master會根據任務所需資源在集羣中找符合條件的worker.然後Master對worker進行RPC通信，通知worker啓動Executor ，Executor會和Dri

>>阅读原文<<