那些年我們在spark SQL上踩過的坑

做了一年延雲YDB的開發，這一年在使用spark上真心踩了不少坑，總結一下，希望對大家有所幫助。 spark 內存泄露 1.高併發情況下的內存泄露的具體表現 很遺憾，Spark的設計架構並不是爲了高併發請求而設計的，我們嘗試在網絡條件不好的集羣下，進行100併發的查詢，在壓測3天后發現了內存泄露。 a)在進行大量小SQL的壓測過程中發現，有大量的activejob在spark ui上一直處於pen

>>阅读原文<<