SPARK圖計算緩存踩坑記錄整理

簡單寫寫：緩存 一、spark的cache只能將數據緩存在內存中，當緩存數據過大時，會只緩存部分數據，job UI的fraction cached顯示該RDD緩存的百分比。以後複用該RDD時，沒緩存的數據仍是會重複以前的操做從以前的RDD中計算得到。spa 二、persist能夠選擇存儲級別，在緩存級別爲MEMORY_AND_DISK和DISK_ONLY時，能夠緩存下全量數據。內存 三、用from

>>阅读原文<<