最近在SPARK上定位的幾個內存泄露問題總結

最近爲了測試延雲YDB在高併發請求和持續性請求情況下的表現,發現了spark的不少關於內存泄露的問題,這些問題均在延雲YDB提供的SPARK版本中得以修正,現將問題總結如下。 1.    高併發情況下的內存泄露 很遺憾,spark的設計架構並不是爲了高併發請求而設計的,我們嘗試在網絡條件不好的集羣下,進行100併發的查詢,在壓測3天后發現了內存泄露。 a)    在進行大量小SQL的壓測過程中發現
相關文章
相關標籤/搜索