剖析Hadoop和Spark的Shuffle過程差異(二)

    上一篇博客《剖析Hadoop和Spark的Shuffle過程差異(一)》剖析了Hadoop MapReduce的Shuffle過程,那麼本篇博客,來聊一聊Spark shuffle。     Spark shuffle相對來說更簡單,因爲不要求全局有序,所以沒有那麼多排序合併的操作。Spark shuffle分爲write和read兩個過程。我們先來看shuffle write。    
相關文章
相關標籤/搜索