大數據:Spark Shuffle(二)Executor、Driver之間Shuffle結果消息傳遞、追蹤

1. 前言 在博客裏介紹了 ShuffleWrite關於shuffleMapTask如何運行,輸出Shuffle結果到Shuffle_shuffleId_mapId_0.data數據文件中,每一個executor須要向Driver彙報當前節點的Shuffle結果狀態,Driver保存結果信息進行下個Task的調度。 2. StatusUpdate消息 當Executor運行完Task的時候須要向D
相關文章
相關標籤/搜索