Spark部分的調優（代碼調優，內存優化，調節Executor的堆外內存，shuffle調優，解決數據傾斜，Spark故障解決）【原理及方法介紹】

 shuffle調優中調節參數的幾種方式：java 配置這些參數有兩種方式node 1. 在程序中硬編碼 例如 sparkConf.set("spark.shuffle.file.buffer","64k")mysql 2. 提交 application 時在命令行指定 例如 spark-submit --conf spark.shuffle.file.buffer=64k --conf 配置信息

>>阅读原文<<