MapReduce排序過程詳解

Hadoop、Spark等分佈式數據處理框架在宣傳本身的性能時大都以排序效果來作比較，各類類別的Sort Benchmark已成爲行業基準測試。之因此選擇排序是由於排序的核心是shuffle操做，數據的傳輸會橫跨集羣中全部主機，Shuffle基本支持了全部的分佈式數據處理負載。 下面就來詳細分析一下使用mapreduce實現排序的基本過程。先看一些準備知識。html MapReduce中的數據流動

>>阅读原文<<