大數據:Spark Shuffle(三)Executor是如何fetch shuffle的數據文件

1. 前言 在前面的博客中討論了Executor, Driver之間如何彙報Executor生成的Shuffle的數據文件,以及Executor獲取到Shuffle的數據文件的分佈,那麼Executor是如何獲取到Shuffle的數據文件進行Action的算子的計算呢?java 在ResultTask中,Executor經過MapOutPutTracker向Driver獲取了ShuffID的Shu
相關文章
相關標籤/搜索