Spark任務執行流程

Spark任務執行流程 DAGScheduler 和TaskScheduler都在Driver端（開啓spark-shell的那一端），main函數建立SparkContext時會使得driver和Master節點創建鏈接，Master會根據任務所需資源在集羣中找符合條件的worker.而後Master對worker進行RPC通訊，通知worker啓動Executor ，Executor會和Dri

>>阅读原文<<