對DAG的粗略理解

當一個job提交後，最後一個RDD執行action算子從所有的父級依賴查找shuffle依賴，找到shuffle依賴後創建一個shuffle map stage，在stage中的必定是narrow依賴，narrow依賴中的是task任務，有多少個partition就有多少個task，多個task稱作taskset任務集，一個任務集就是一個stage，task在進程上運行，運行完後釋放所有資源。 R

>>阅读原文<<