Spark join問題

本篇文章是關於我在學習 Spark 過程中遇到的一些問題及總結,分爲Spark優化、RDD join問題、遇到的問題、總結、參考資料幾個部分。  一:Spark優化  1、設置序列化器爲KryoSerializer    Spark默認使用的是Java序列化機制,但是Spark也支持使用Kryo序列化庫,Kryo序列化機制比Java序列化機制性能高10倍左右    2、壓縮機制    如果數據量很
相關文章
相關標籤/搜索