Spark三 Spark運行核心機制簡介

1 由驅動器程序發起集羣上的並行操作     例如Spark shell就是驅動器程序,通過對象SparkContext訪問Spark 2 驅動器程序包含應用的main函數,定義集羣上的RDD,可以對RDD進行相關操作 3 SparkContext是對計算集羣的一個連接,shell啓動時自動創建SparkContext對象sc 4 集羣中的驅動器程序一般要管理多個執行器節點
相關文章
相關標籤/搜索