Spark源碼分析之Job觸發原理

一 Job的執行流程 1.1 從數據源加載數據,數據源可以是本地數據文件和HDFS文件,也可以你是內存裏的數據結構或者HBase等,創建初始的RDD 1.2 對RDD進行一系列的transformation操作,每一個transformation可能產生一個或者多個RDD 1.3 對最後的final RDD進行action操作,觸發job操作,將最後每一個分區計算後得到結果 1.4 對每一個分區的
相關文章
相關標籤/搜索