大數據之spark_spark的執行流程簡介及初始Task數量的生成規則

spark的執行流程簡介 1.類加載,通過反射調用指定類的main方法 2.創建SparkContext,跟Master通信,申請資源 3.Master跟Worker進行通信啓動Executor 4.啓動Eexcutor,並創建線程池 5.Executor向Driver反向註冊 (前5步完成準備工作) 6.創建原始的RDD.例如textFile() 7.調用RDD中的Transformations

>>阅读原文<<