spark JVM調優之調節executor堆外內存與鏈接等待時長

executor堆外內存 有時候，若是你的spark做業處理的數據量特別特別大，幾億數據量；而後spark做業一運行，時不時的報錯，shuffle file cannot find，executor、task lost，out of memory（內存溢出）； 多是說executor的堆外內存不太夠用，致使executor在運行的過程當中，可能會內存溢出；而後可能致使後續的stage的task在運

>>阅读原文<<