大數據開發：剖析Hadoop和Spark的Shuffle過程差異

一、前言 對於基於MapReduce編程範式的分佈式計算來說，本質上而言，就是在計算數據的交、並、差、聚合、排序等過程。而分佈式計算分而治之的思想，讓每個節點只計算部分數據，也就是隻處理一個分片，那麼要想求得某個key對應的全量數據，那就必須把相同key的數據彙集到同一個Reduce任務節點來處理，那麼Mapreduce範式定義了一個叫做Shuffle的過程來實現這個效果。 二、編寫本文的目的 本

>>阅读原文<<