Spark分區方式詳解

一、Spark數據分區方式簡要              在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象數據集，其中每個RDD是由若干個Partition組成。在Job運行期間，參與運算的Partition數據分佈在多臺機器的內存當中。這裏可將RDD看成一個非常大的數組，其中Partition是數組中的每個元素，並且這些元素分佈在多臺機器中。圖

>>阅读原文<<