【Spark亞太研究院系列叢書】Spark實戰高手之路-第3章Spark架構設計與編程模型第3節：Spark架構設計(2)

三，深刻RDD

 

RDD自己是一個抽象類，具備不少具體的實現子類：

 

RDD都會基於Partition進行計算：

 

默認的Partitioner以下所示：

其中HashPartitioner的文檔說明以下：

另一種經常使用的Partitioner是RangePartitioner：

RDD在持久化的須要考慮內存策略：

Spark提供不少StorageLevel可供選擇：

於此同時Spark提供了unpersistRDD:

對RDD自己還有一個很是重要的CheckPoint操做：

其中doCheckpoint的細節以下：

以NewHadoopRDD爲例，其內部的信息以下所示：

以WholeTextFileRDD爲例，其內部的信息以下所示：

RDD在產生做業調用的時候，經典的過程以下所示：