Spark——Job邏輯執行圖

Job邏輯執行圖 典型的Job邏輯執行圖如上所示,通過下面四個步驟能夠獲得最終執行結果: 1.從數據源(能夠是本地file,內存數據結構, HDFS,HBase等)讀取數據建立最初的RDD。 2.對RDD進行一系列的transformation()操做,每個transformation()會產生一個或多個包含不一樣類型RDD。 3.對最後的final RDD進行action()操做,每一個part

>>阅读原文<<