Spark 配置調優小結（基於32GB Terasort測試用例）

1. 每一個core配置2~3個任務（每一個任務對應一個partition）,好比 46 core 的機器，配置 hibench.default.shuffle.parallelism 92 hibench.default.map.parallelism  92 //這個配置值是否生效取決於文件個數及大小和建立RDD時的參數apache 2. 每一個executor配置4~6個 core，exec

>>阅读原文<<