spark的Driver節點和Executor節點

1．驅動器節點(Driver) Spark的驅動器是執行開發程序中的 main方法的進程。它負責開發人員編寫的用來建立SparkContext、建立 RDD，以及進行 RDD 的轉化操做和行動操做代碼的執行。若是你是用spark shell，那麼當你啓動 Spark shell的時候，系統後臺自啓了一個 Spark 驅動器程序，就是在Spark shell 中預加載的一個叫做 sc 的 Spark

>>阅读原文<<