Spark Executor內存管理

堆內和堆外內存規劃 1.堆內內存:由-executor-memory配置,executor內所有併發任務共享     序列化:將對象轉換爲二進制字節流,本質上可以理解爲將非連續空間的鏈式存儲轉化爲連續空間或塊存儲 2.堆外內存:由spark.memory.offHeap.size配置,優化內存的使用,提高shuffle時排序效率,存儲經過序列化的二進制數據,默認關閉 3.內存管理接口:Memory
相關文章
相關標籤/搜索