spark之shuffle性能優化

shuffle調優是spark調優的重中之重，在講解shuffle調優之前，我們首先明確一個概念，什麼是shuffle操作？ 問題：什麼是shuffle？ 答案： 每個Spark作業啓動運行的時候，首先Driver進程會將我們編寫的Spark作業代碼分拆爲多個stage，每個stage執行一部分代碼片段，併爲每個stage創建一批Task，然後將這些Task分配到各個Executor進程中執行。

>>阅读原文<<