spark-獲取RDD的方式以及從分區中獲益的操做

Spark獲取RDD的分區方式:網絡 使用partitioner對象，本質上是告訴咱們RDD中各個健分別屬於哪一個分區。性能 isDefined:用來判斷該對象是否是有值對象 Get:使用get來獲取其中的值get date.partitioner.isDefinedit date.partitioner.getio Spark從分區中獲益的操做:效率 Spark有許多算子都是要跨節點進行通訊的。

>>阅读原文<<