Spark on Yarn

Spark on Yarn 1.Yarn的產生背景 Hadoop Spark Standalone MPI …等分佈式的框架 集羣的資源利用率不夠，就需要統一的資源管理和調度。 使用Yarn的話，多種計算框架可以共享集羣資源，按需分配，這樣可以提升集羣資源的利用率。 2.Yarn架構 各自的職責以及重試的機制(掛了之後如何重新執行) RM： NM： AM： Container： 3.Yarn的執行

>>阅读原文<<