Spark RDD 分析總結(二)

Spark RDD是Spark 核心基石 Transformation 操作 RDD的所有轉換操作都是lazy模式,即Spark不會立刻計算結果,而只是簡單的記住所有對數據集的轉換操作。這些轉換隻有遇到action操作的時候纔會開始計算。這樣的設計使得Spark更加的高效,例如,對一個輸入數據做一次map操作後進行reduce操作,只有reduce的結果返回給driver,而不是把數據量更大的ma
相關文章
相關標籤/搜索