Spark中的Driver和Executor的個人理解

Driver:Driver是Spark中Application也即代碼的發佈程序,可以理解爲我們編寫spark代碼的主程序,因此只有一個,負責對spark中SparkContext對象進行創建,其中SparkContext對象負責創建Spark中的RDD(Spark中的基本數據結構,是一種抽象的邏輯概念) Driver的另外一個職責是將任務分配給各個Executor進行執行。任務分配的原則主要是就
相關文章
相關標籤/搜索