RDD實現詳解

1.RDD的三大特性apache 自動容錯:(基於Lineage血統,即會保存建立RDD的相關轉換(算子操做))數組 位置感知性調度:爲了儘可能知足數據本地性,Task調度會依次從如下位置查找是否有計算所需的數據:緩存 1)緩存,即待計算的數據RDD執行過cache()操做併發 2)Checkpoint:即待計算的數據RDD是否執行過checkpoint()操做,數據檢查點保存異步 3)rdd.p
相關文章
相關標籤/搜索