Spark分區

https://www.iteblog.com/archives/1695.html Spark分區原理分析 介紹 分區是指如何把RDD分佈在spark集羣的各個節點的操作。以及一個RDD能夠分多少個分區。 一個分區是大型分佈式數據集的邏輯塊。 那麼思考一下：分區數如何映射到spark的任務數？如何驗證？分區和任務如何對應到本地的數據? Spark使用分區來管理數據，這些分區有助於並行化分佈式數據

>>阅读原文<<