spark-sql 堆外內存溢出

運行執行spark-sql 腳本文件，爆出對堆外內存溢出 GC overhead limit execeeded 錯誤如下圖，先區分發生異常是executor端還是driver端，我遇到的問題是driver端，因爲最後數據導出生成文件，數據會在driver端收集結果集。調節方式有兩種，第一種正大driver-memory值，堆外內存計算公式默認是max(0.1*driver-memory ,384

>>阅读原文<<