Kryo序列化與Java序列化

1.序列化在Spark中的用處java 在算子函數中使用到外部變量時,該變量會被序列化後進行網絡傳輸 將自定義的類型做爲RDD的泛型類型時(好比JavaRDD,Student是自定義類型),全部自定義類型對象,都會進行序列化。所以這種狀況下,也要求自定義的類必須實現Serializable接口。web 使用可序列化的持久化策略時(好比MEMORY_ONLY_SER),Spark會將RDD中的每一個
相關文章
相關標籤/搜索