Spark RDD概念學習系列之RDD的5大特點(五)

RDD的5大特點        1)有一個分片列表,就是能被切分,和Hadoop一樣,能夠切分的數據才能並行計算。   一組分片(partition),即數據集的基本組成單位,對於RDD來說,每個分片都會被一個計算任務處理,並決定並行計算的粒度。用戶可以在創建RDD時指定RDD的分片個數,如果沒有指定,那麼就會採用默認值。默認值就是程序所分配到的CPU Core的數目。每個分配的存儲是由Block
相關文章
相關標籤/搜索