Spark On Yarn 中Executor 內存分配的機制

問題導讀 1. Spark On Yarn 下executor-memory 參數如何生效？ 2. Cluster 和 Client 模式中 內存開銷的區別？ 3. 規整化因子是什麼？ 綜述   提交任務時，配置的executor-memory 的參數，設置爲6g，結果實際運行中，佔據的資源算下來，每個executor 使用的卻接近7個g，此處省略一萬字。。。 那麼，爲何會配置的參數沒有生效呢？

>>阅读原文<<