【spark】關於spark的shuffle模式的一些見解

我不想說太多源碼層面的東西，然後把詳細方法一個個列出來，其實沒有多大意義（因爲源碼裏有，再者比我講的清晰明白的大有人在，我沒有必要再重複相同的東西），但是我真的花了好大的精力才把這部分看完，我得記錄下，不然會忘掉   一、spark到底有幾種shuffleManager（shuffle管理類）可以選擇？ 首先spark早期的版本（比如1.5.1版本），是有三種shuffle http://spar

>>阅读原文<<