Spark劃分Shuffle依賴以及建立Stage的流程

博客爲筆者學習過程當中，自個人理解和總結，不免存在錯誤，若是給您形成困擾請原諒，同時但願指點迷津apache 上一篇博文介紹了Spark提交做業的流程以及做業是如何被觸發在集羣中運行的，答案即是：action算子中調用sparkContext.runJob方法觸發執行的，當咱們執行rdd的action算子時候，這時候就會調用sparkContext的runJob方法，在runJob方法中完成調用d

>>阅读原文<<