spark源碼閱讀筆記RDD(三)RDD的緩存原理

一、RDD的緩存(cache和persist)html spark最重要一個能力就是:在不一樣的操做中把數據集緩存(cache)或存留(persist)在內存(memory)apache 中。當持久化一個RDD後,每一個節點都會把計算的分片的結果保存在內存中,以後能夠對此數據集在其餘action中緩存 再次使用。這使得後續的action變得迅速(一般快10x)[1].app 二、緩存的級別ide
相關文章
相關標籤/搜索