spark六 DAG

task的生成: 首先需要stage劃分,依據劃分的stage來生成task task的數量和分區的數量和sttage的數量是有直接關係的 在發送shuffle的過程中,會產生shuffle write 和shuffle reade shuffle write : 發生在shuf/fle之前,把需要shuffle的數據寫到磁盤,保證了數據的可靠性 爲什麼在發送shuffle的時候,需要把數據保存到

>>阅读原文<<