Spark RDD的緩存

Spark RDD的緩存 Spark速度很是快的緣由之一,就是在不一樣操做中能夠在內存中持久化或者緩存數據集。當持久化某個RDD後,每個節點都將把計算分區結果保存在內存中,對此RDD或衍生出的RDD進行的其餘動做中重用。這使得後續的動做變得更加迅速。RDD相關的持久化和緩存,是Spark最重要的特徵之一。能夠說,緩存是Spark構建迭代式算法和快速交互式查詢的關鍵。web 1. RDD緩存方式 R
相關文章
相關標籤/搜索