SparkSQL性能調優與優化指南

spark 內存泄露 1.高併發狀況下的內存泄露的具體表現 很遺憾，Spark的設計架構並非爲了高併發請求而設計的，咱們嘗試在網絡條件很差的集羣下，進行100併發的查詢，在壓測3天后發現了內存泄露。node a)在進行大量小SQL的壓測過程當中發現，有大量的activejob在spark ui上一直處於pending狀態，且永遠不結束，以下圖所示sql   b)而且發現driver內存爆滿apac

>>阅读原文<<