Spark 基本概念及 jobs stages tasks 等 解釋

基礎概念理解 Application 用戶在 spark 上構建的程序，包含了 driver 程序以及在集羣上運行的程序代碼，物理機器上涉及了 driver，master，worker 三個節點. Driver Program 創建 sc ，定義 udf 函數，定義一個 spark 應用程序所需要的三大步驟的邏輯：加載數據集，處理數據，結果展示。 Cluster Manager 集羣的資源管理器，

>>阅读原文<<