spark2原理分析-Stage的實現原理

概述 本文介紹Spark任務執行框架中Stage的原理，並分析其實現機制。 Stage的基本概念 一個Stage是一個並行任務(Task實體)集，它們執行相同的計算邏輯，並作爲Spark任務執行的一部分，所有的任務都具有相同的shuffle依賴。 調度器運行的每個任務DAG，在shuffle的邊界處(發生shuffling時)被分解成多個stage，然後DAGScheduler以拓撲順序運行這些階

>>阅读原文<<