spark:RDD的五大特性

1.A list of partitions RDD是一個由多個partition(某個節點裏的某一片連續的數據)組成的的list;將數據加載爲RDD時,一般會遵循數據的本地性(一般一個hdfs裏的block會加載爲一個partition)。 2.A function for computing each split 一個函數計算每一個分片,RDD的每個partition上面都會有function
相關文章
相關標籤/搜索