spark調優

1.代碼調優： 避免創建重複的RDD 複用同一個RDD 對多次使用的RDD進行持久化 如何選擇一種最合適的持久化策略呢？ 答： cache--MEMORY_ONLY;  persist：MEMORY_ONLY，MEMORY_ONLY_SER,MEMORY_AND_DISK_SER checkpoint:如果一個RDD的計算時間比較長或者計算起來比較複雜。一般將這個RDD的計算結果保存到HDFS上，

>>阅读原文<<