Spark RDD 特徵及其依賴

1 RDD特徵 分區(partition) 有一個數據分片列表,可以將數據進行切分,切分後的數據可以進行並行計算,是數據集的原子組成部分web 函數 compute 計算每一個分片,得出一個可遍歷的結果,用於說明在父RDD上執行何種計算apache 依賴 dependency 計算每一個RDD對父RDD的依賴列表,源RDD沒有依賴,經過依賴關係描述血統(lineage)app 優先位置(可選) 每
相關文章
相關標籤/搜索