Spark性能優化:資源調優篇

      在開發完Spark做業以後,就該爲做業配置合適的資源了。Spark的資源參數,基本均可以在spark-submit命令中做爲參數設置。不少Spark初學者,一般不知道該設置哪些必要的參數,以及如何設置這些參數,最後就只能胡亂設置,甚至壓根兒不設置。資源參數設置的不合理,可能會致使沒有充分利用集羣資源,做業運行會極其緩慢;或者設置的資源過大,隊列沒有足夠的資源來提供,進而致使各類異常。總
相關文章
相關標籤/搜索