Spark任務執行流程解析

Spark任務流程如下圖所示：           下面會根據該圖對每個步驟做詳細介紹：    1、RDD Objects RDD（ResilientDistributed Dataset）叫做分佈式數據集，是Spark中最基本的數據抽象，它代表一個不可變、可分區、裏面的元素可並行計算的集合。RDD具有數據流模型的特點：自動容錯、位置感知性調度和可伸縮性。RDD允許用戶在執行多個查詢時顯式地將工作

>>阅读原文<<