groupByKey一直OOM處理

1、一個任務很簡單，就是把2T數據讀入，按\t拆分，取裏面四個字段，之後groupByKey,但是遇到了一直groupByKey就一直fullGC的問題。這裏第一個stage很快就跑完了，應該是在拉數據，map之類的。但是隻產出19G數據，groupByKey直接處理應該還是綽綽有餘的，但現實是我試了一個週末加一天加兩個小時，一直FullGC。這個原因不明，對於整個過程內存到底怎麼使用還不完全清楚

>>阅读原文<<