Spark內核架構剖析(一)

整個Spark工作流程主要分爲兩部分: 一、創建SparkContext 1.客戶端在提交spark應用的機器提交一個Applicaton程序。 2.通過spark-submit方式在該機器上創建一個Driver(jvm進程)。 3.Driver會執行我們自己編寫的Application應用程序,並會在當前機器上初始化SparkContext。 4.SparkContext在初始化的時候,做的最重
相關文章
相關標籤/搜索