剖析Hadoop和Spark的Shuffle過程差異(二)

爲什麼80%的碼農都做不了架構師?>>>        上一篇博客《剖析Hadoop和Spark的Shuffle過程差異(一)》剖析了Hadoop MapReduce的Shuffle過程,那麼本篇博客,來聊一聊Spark shuffle。     Spark shuffle相對來說更簡單,因爲不要求全局有序,所以沒有那麼多排序合併的操作。Spark shuffle分爲write和read兩個過程。
相關文章
相關標籤/搜索