spark五 緩存和檢查點

—— 可以在內存中持久化或緩存多個數據集。當持久化某個RDD後，每一個節點都將把計算的分片結果保存在內存中，並在對此RDD或衍生出的RDD進行的其他動作中重用，一方面提高效率，另一方面內存加快速度 緩存 cache persist 發現cache最終也是調用了persist方法 遇到的問題 memory_only 3個g,內存只有2g,緩存2g,用到它是找緩存,發現緩存不夠,就重新計算 check

>>阅读原文<<