Spark 中一些常見的 troubleshooting

記錄一些常見的 Spark 做業裏的 troubleshooting。sql 1，shuffle reduce 端緩衝大小致使的 OOM 在 shuffle 過程當中，reduce 端在拉取 map 端的數據時，每一個 task 會有本身的 緩衝區用來存放每次拉取的數據，這個緩衝區默認是 48M。shell 若是 map 端產生的數據量很是大，而且 map 端的寫入數據很是快，那麼這時候 redu

>>阅读原文<<