關於spark active jobs 卡死原因,求助

調整並行度爲1000後,spark上出現大量的active jobs,並且始終不結束 以前紅圈處爲默認200,執行後偶爾會出現active jobs 死掉的任務,改成1000是爲了提升性能,從單個執行情況看比200要快50%,但是遇到了這個糟心的問題...... 最早的一波active jobs: 點擊詳情,發現是first顯示未執行結束: 但是實際上已經執行結束了: 查看各種材料,可能是由於內部
相關文章
相關標籤/搜索