基於spark之上的即席分析-spark內存泄漏及源碼調優

spark 內存泄露 高併發狀況下的內存泄露的具體表現 很遺憾， spark 的設計架構並非爲了高併發請求而設計的，咱們嘗試在網絡條件很差的集羣下，進行 100 併發的查詢，在壓測 3 天后發現了內存泄露。 a) 在進行大量小 SQL 的壓測過程當中發現，有大量的 activejob 在 spark ui 上一直處於 pending 狀態，且永遠不結束，以下圖所示 b) 而且發現 driver 內

>>阅读原文<<