Shuffle過程介紹

摘要：騰訊分佈式數據倉庫基於開源軟件Hadoop和Hive進行構建,TDW計算引擎包括兩部分：MapReduce和Spark，兩者內部都包含了一個重要的過程—Shuffle。本文對Shuffle過程進行解析，並對兩個計算引擎的Shuffle過程進行比較。 騰訊分佈式數據倉庫（Tencent distributed Data Warehouse, 簡稱TDW）基於開源軟件Hadoop和Hive進行構

>>阅读原文<<