百度Hadoop分佈式系統揭祕：4000節點集羣

百度的高性能計算系統(主要是後端數據訓練和計算)目前有4000節點，超過10個的集羣，最大的集羣規模在1000個節點以上。每個節點由8核CPU以及16G內存以及12TB硬盤組成，每天的數據生成量在3PB以上。規劃當中的架構將有超過1萬個節點，每天的數據生成量在10PB以上。 底層的計算資源管理層採用了Agent調度不同類型的計算分別給MPI結構的算法和Map-Reduce和DAG算法應用等。而通過

>>阅读原文<<