經驗|如何設置Spark資源

常常有人在微信羣裏問浪尖，到底應該如何配置yarn集羣的資源，如何配置spark executor數目，內存及cpu。今天浪尖在這裏大體聊聊這幾個問題。node 資源調優 Spark和YARN管理的兩個主要資源是CPU和內存。磁盤和網絡I / O也會影響Spark性能，但Spark和YARN都不會主動管理它們。 緩存 應用程序中的每一個Spark executor都具備相同的固定數量的核心和相同的

>>阅读原文<<