Spark Shuffle 中 JVM 內存使用及配置內幕詳情

引言 Spark 從1.6.x 開始對 JVM 的內存使用做出了一種全新的改變，Spark 1.6.x 之前是基於靜態固定的JVM內存使用架構和運行機制，若是你不知道 Spark 到底對 JVM 是怎麼使用，你怎麼能夠頗有信心地或者是徹底肯定地掌握和控制數據的緩存空間呢，因此掌握Spark對JVM的內存使用內幕是相當重要的。不少人對 Spark 的印象是：它是基於內存的，並且能夠緩存一大堆數據，顯

>>阅读原文<<