騰訊大數據之TDW計算引擎解析——Shuffle

騰訊分佈式數據倉庫（Tencent distributed Data Warehouse, 簡稱TDW）基於開源軟件Hadoop和Hive進行構建，並且根據公司數據量大、計算複雜等特定情況進行了大量優化和改造，目前單集羣最大規模達到5600臺，每日作業數達到100多萬，已經成爲公司最大的離線數據處理平臺。爲了滿足用戶更加多樣的計算需求，TDW也在向實時化方向發展，爲用戶提供更加高效、穩定、豐富的服

>>阅读原文<<