RDD分區理解

RDD分區的做用 一個HDFS文件的RDD將文件的每一個文件塊表示爲一個分區，而且知道每一個文件塊的位置信息。這些對應着數據塊的分區分佈到集羣的節點中，所以，分區的多少涉及對這個RDD進行並行計算的粒度。首先，分區是一個邏輯概念， 變換先後的新舊分區在物理上多是同一塊內存或者是存儲。編程 須要注意的是，若是沒有指定分區數將使用默認值，而默認值是該程序所分配到CPU核數，若是是從HDFS文件建立，默

>>阅读原文<<