關於spark active jobs 卡死原因，求助

調整並行度爲1000後，spark上出現大量的active jobs，並且始終不結束 以前紅圈處爲默認200，執行後偶爾會出現active jobs 死掉的任務，改成1000是爲了提升性能，從單個執行情況看比200要快50%，但是遇到了這個糟心的問題...... 最早的一波active jobs： 點擊詳情，發現是first顯示未執行結束： 但是實際上已經執行結束了： 查看各種材料，可能是由於內部

>>阅读原文<<