Spark代碼在集羣上執行過程理解

spark代碼是如何在集羣上執行的？ 總體上可以概述爲4步： 寫DataFrame/Dataset/SQL 代碼（通過console或spark-submit提交代碼） 如果代碼有效，Spark將此轉成邏輯計劃(Logical Plan) Spark對計劃中的一系列transform操作進行優化，並將邏輯計劃轉成物理計劃(Physical Plan) Spark在集羣上執行(基於RDD操作的)物理

>>阅读原文<<