spark 任務運行原理

調優概述 在開發完Spark做業以後，就該爲做業配置合適的資源了。Spark的資源參數，基本均可以在spark-submit命令中做爲參數設置。不少Spark初學者，一般不知道該設置哪些必要的參數，以及如何設置這些參數，最後就只能胡亂設置，甚至壓根兒不設置。資源參數設置的不合理，可能會致使沒有充分利用集羣資源，做業運行會極其緩慢；或者設置的資源過大，隊列沒有足夠的資源來提供，進而致使各類異常。總之

>>阅读原文<<