Spark RDD的緩存機制、CheckPoint機制(容錯機制)和RDD的依賴關係

RDD的緩存機制 RDD經過cache方法或者persist方法能夠將前面的計算結果緩存,但並非當即緩存,而是在接下來調用Action類的算子的時候,該RDD將會被緩存在計算節點的內存中,並供後面使用。它既不是transformation也不是action類的算子。 注意:緩存結束後,不會產生新的RDDphp 緩存有可能丟失,或者存儲存儲於內存的數據因爲內存不足而被刪除,RDD的緩存容錯機制保證了
相關文章
相關標籤/搜索