MapReduce排序過程詳解

Hadoop、Spark等分佈式數據處理框架在宣傳自己的性能時大都以排序效果來做比較，各種類別的Sort Benchmark已成爲行業基準測試。之所以選擇排序是因爲排序的核心是shuffle操作，數據的傳輸會橫跨集羣中所有主機，Shuffle基本支持了所有的分佈式數據處理負載。 下面就來詳細分析一下使用mapreduce實現排序的基本過程。先看一些準備知識。 MapReduce中的數據流動 最簡單

>>阅读原文<<