Spark Core（十九）Spark性能的調優

資源調優 就是多分配內存和core 更改高效的序列化方法，kyro（減少內存開銷） 優化數據結構（減少內存開銷） 優先使用數組，而不是集合類。優先使用字符串。儘可能少的使用包裝類. 業務允許的情況下儘量使用id作爲唯一鍵，不用String類型 儘量少用對象嵌套結構，可以用Json串來代替對象嵌套結構 對RDD進行持久化與Checkpoint 如果一個RDD被多次進行Action操作和Transfo

>>阅读原文<<