Spark中Partition、Stage、Task、Executor、並行度的各類數量關係 & RDD彈性、分佈式、數據集的理解

Spark中各類組件、概念之間具有必定的數量關係，本篇博文主要整理一下這些內容，而且從彈性、分佈式、數據集這三個方面來解釋RDD的概念。算法 目錄緩存 1、Spark數量關係安全 1. 分區數 Partition數據結構 2. 階段數量 Stage分佈式 3. 任務數量 Taskoop 4. Executor數量spa 5. 並行度數量線程 2、RDD的概念剖析內存 1. 彈性hadoop 2.

>>阅读原文<<