spark集羣調優心得

(2017年11月26日)linux 最近公司搞一個spark集羣項目,期間會對spark集羣進行調優.雖然調優的建議網上有不少,可是經過具體實踐,發現不一樣的場景,調節的參數仍是有不同的地方.現記錄一下最近學到的一些實踐手段吧.web (1)要留一點資源給除spark之外的應用.網絡 咱們用的是Spark-On-Yarn資源調度,每臺機器有24核心,每臺機器最大內存有128G,併發 在yarn-

>>阅读原文<<