groupByKey一直OOM處理
1、一個任務很簡單，就是把2T數據讀入，按\t拆分，取裏面四個字段，之後groupByKey,但是遇到了一直groupByKey就一直fullGC的問題。這裏第一個stage很快就跑完了，應該是在拉數據，map之類的。但是隻產出19G數據，groupByKey直接處理應該還是綽綽有餘的，但現實是我試了一個週末加一天加兩個小時，一直FullGC。這個原因不明，對於整個過程內存到底怎麼使用還不完全清楚
相關文章
- 1. 記一次OOM查詢處理過程
- 2. OOM處理的一個例子
- 3. 線上oom如何處理
- 4. 深刻理解groupByKey、reduceByKey
- 5. Android 大圖壓縮處理，避免OOM
- 6. Android：內存控制及OOM處理
- 7. bitmap的處理，儘可能避免OOM
- 8. 線上OOM發現及處理
- 9. HIVE-shuffle階段的oom處理方法
- 10. android 圖片處理OOM問題處理方法
- 更多相關文章...
- • 錯誤處理 - RUST 教程
- • C# 異常處理 - C#教程
- • Docker 清理命令
- • RxJava操作符（一）Creating Observables
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. Duang!超快Wi-Fi來襲
- 2. 機器學習-補充03 神經網絡之**函數(Activation Function)
- 3. git上開源maven項目部署 多module maven項目（多module maven+redis+tomcat+mysql）後臺部署流程學習記錄
- 4. ecliple-tomcat部署maven項目方式之一
- 5. eclipse新導入的項目經常可以看到「XX cannot be resolved to a type」的報錯信息
- 6. Spark RDD的依賴於DAG的工作原理
- 7. VMware安裝CentOS-8教程詳解
- 8. YDOOK：Java 項目 Spring 項目導入基本四大 jar 包 導入依賴，怎樣在 IDEA 的項目結構中導入 jar 包 導入依賴
- 9. 簡單方法使得putty（windows10上）可以免密登錄樹莓派
- 10. idea怎麼用本地maven
歡迎關注本站公眾號,獲取更多信息
相關文章