74.Spark大型電商項目-用戶訪問session分析-troubleshooting之控制shuffle reduce端緩衝大小以避免OOM

目錄 shuffle reduce端緩衝 問題 解決方案 性能調優 參數設置 本篇文章記錄用戶訪問session分析-troubleshooting之控制shuffle reduce端緩衝大小以避免OOM。 shuffle reduce端緩衝   map端的task是不斷的輸出數據的，數據量可能是很大的。 但是，其實reduce端的task，並不是等到map端task將屬於自己的那份數據全部寫入磁

>>阅读原文<<