Spark kyro Serialization

序列化在分佈式系統中扮演着重要的角色,優化Spark程序時,首當其衝的就是對序列化方式的優化。Spark爲使用者提供兩種序列化方式:web Java serialization: 默認的序列化方式。sql Kryo serialization: 相較於 Java serialization 的方式,速度更快,空間佔用更小,但並不支持全部的序列化格式,同時使用的時候須要註冊class。spark-s
相關文章
相關標籤/搜索