troubleshooting---線上問題解決

1、控制shuffle reduce端緩衝大小以免OOM reduce端的task讀取數據時，並非等到map端task將屬於本身的那份數據所有寫入磁盤文件以後再去拉取，而是先把數據拉取進緩衝區，而後才用後面的executor分配的堆內存佔比（好比0.2）來進行後續的聚合、函數的執行。reduce端緩存默認是48M。sql ①減少reduce端緩衝大小 當map端數據量比較大，而且寫出的速度很快的時

>>阅读原文<<