Spark學習之路(六):深刻剖析與使用RDD的持久化機制和Checkpoint機制

內容簡介 1、持久化機制Persist 2、檢查點機制Checkpoint 3、持久化與Checkpoint的區別 4、代碼演示 5、總結 1、持久化機制Persist 所謂RDD的持久化,其實就是對RDD進行緩存,它是Spark重要的優化手段之一。爲何須要對RDD進行緩存呢?這與Spark做業的執行機制有關,咱們知道,Spark程序只有遇到action算子的時候纔會執行程序,具體的執行算法大體以
相關文章
相關標籤/搜索