Spark部分的調優（代碼調優，內存優化，調節Executor的堆外內存，shuffle調優，解決數據傾斜，Spark故障解決）【原理及方法介紹】

 shuffle調優中調節參數的幾種方式： 配置這些參數有兩種方式 1. 在程序中硬編碼 例如 sparkConf.set("spark.shuffle.file.buffer","64k") 2. 提交 application 時在命令行指定 例如 spark-submit --conf spark.shuffle.file.buffer=64k --conf 配置信息=配置值 ... 3. 修

>>阅读原文<<