Spark 性能調優 序列化之使用kryo

Kryo與Spark內部默認序列化機制優缺點 默認優點 默認情況下,Spark內部使用java的序列化機制,ObjectOutputStream/ObjectInputStream 對象輸入輸出流機制,來進行序列化,這種默認序列化機制的好處在於,處理起來比較方便,不需要我們自己手動做什麼事情,只是,在算子裏使用到的變量,必須是實現Serializable接口的,可序列化即可。 默認缺點 默認序列機
相關文章
相關標籤/搜索