Spark RDD的緩存機制、CheckPoint機制(容錯機制)和RDD的依賴關係

RDD的緩存機制 RDD通過cache方法或者persist方法可以將前面的計算結果緩存,但並不是立即緩存,而是在接下來調用Action類的算子的時候,該RDD將會被緩存在計算節點的內存中,並供後面使用。它既不是transformation也不是action類的算子。 注意:緩存結束後,不會產生新的RDD 緩存有可能丟失,或者存儲存儲於內存的數據由於內存不足而被刪除,RDD的緩存容錯機制保證了即使
相關文章
相關標籤/搜索