spark 源碼分析之十三 -- SerializerManager剖析

對SerializerManager的說明: 它是爲各種Spark組件配置序列化,壓縮和加密的組件,包括自動選擇用於shuffle的Serializer。spark中的數據在network IO 或 local disk IO傳輸過程中。都需要序列化。其默認的 Serializer 是 org.apache.spark.serializer.JavaSerializer,在一定條件下,可以使用kr
相關文章
相關標籤/搜索