spark2原理分析-shuffle框架之ShuffleReader實現分析

概述 本文講述shuffleReader的具體實現。從這篇文章中,咱們已經知道shuffleReader是一個抽象類,該抽象類只有一個read函數,用來在shuffle階段從本地或遠程獲取數據。web 該抽象類的實現類是:BlockStoreShuffleReader。本文主要講述該實現類的具體實現。數組 shuffle reader實現要點 shuffle過程能夠從兩個地方來讀取數據塊,一個是本
相關文章
相關標籤/搜索