Spark優化(十)：資源參數調優

在開發完Spark作業之後，就該爲作業配置合適的資源了。Spark的資源參數，基本都可以在spark-submit命令中作爲參數設置。很多Spark初學者通常不知道該設置哪些必要的參數以及如何設置這些參數，最後就只能胡亂設置，甚至壓根兒不設置。   資源參數設置的不合理，可能會導致沒有充分利用集羣資源，作業運行會極其緩慢；或者設置的資源過大，隊列沒有足夠的資源來提供，進而導致各種異常。   總之，

>>阅读原文<<