騰訊大規模Hadoop集羣實踐

TDW（Tencent distributed Data Warehouse，騰訊分佈式數據倉庫）基於開源軟件Hadoop和Hive進行構建，打破了傳統數據倉庫不能線性擴展、可控性差的侷限，並且根據騰訊數據量大、計算複雜等特定情況進行了大量優化和改造。  TDW服務覆蓋了騰訊絕大部分業務產品，單集羣規模達到4400臺，CPU總核數達到10萬左右，存儲容量達到100PB；每日作業數100多萬，每日計

>>阅读原文<<