spark統一內存管理

  spark統一內存管理是spark1.6.0的新特性,是對shuffle memory 和 storage memory 進行統一的管理,打破了以往的參數限制。 非統一內存管理 spark在1.6 之前都是非統一內存管理,通過設置spark.shuffle.memoryFraction 和 spark.storage.memoryFraction來設置shuffle 和storage的memo
相關文章
相關標籤/搜索