Spark性能優化:對RDD持久化或CheckPoint操作

對多次使用的RDD進行持久化或Checkpoint 如果程序中,對某一個RDD,基於它進行了多次transformation或者action操作。那麼就非常有必要對其進行持久化操作,以避免對一個RDD反覆進行計算。 此外,如果要保證在RDD的持久化數據可能丟失的情況下,還要保證高性能,那麼可以對RDD進行Checkpoint操作。
相關文章
相關標籤/搜索