Spark——Job邏輯執行圖

Job邏輯執行圖 典型的Job邏輯執行圖如上所示,經過下面四個步驟可以得到最終執行結果: 1.從數據源(可以是本地file,內存數據結構, HDFS,HBase等)讀取數據創建最初的RDD。 2.對RDD進行一系列的transformation()操作,每一個transformation()會產生一個或多個包含不同類型RDD。 3.對最後的final RDD進行action()操作,每個parti

>>阅读原文<<