認識RDD

RDD的屬性 一組分片（Partition），即數據集的基本組成單位。對於RDD來說，每個分片都會被一個計算任務處理，並決定並行計算的粒度。用戶可以在創建RDD時指定RDD的分片個數，如果沒有指定，那麼就會採用默認值。默認值就是程序所分配到的CPU Core的數目。 一個計算每個分區的函數。Spark中RDD的計算是以分片爲單位的，每個RDD都會實現compute函數以達到這個目的。compute

>>阅读原文<<