Spark中執行transformation和action的區別

1,transformation是獲得一個新的RDD,方式不少,好比從數據源生成一個新的RDD,從RDD生成一個新的RDD html

2,action是獲得一個值,或者一個結果(直接將RDDcache到內存中spa

全部的transformation都是採用的懶策略,就是若是隻是將transformation提交是不會執行計算的,計算只有在action被提交的時候才被觸發.net

從運行層面來看,Transformation其實是一種鏈式的邏輯Action,記錄了RDD演變的過程。Action則是實質觸發Transformation開始計算的動做,因爲在每一個Transformation的過程當中都有記錄,因此每一個RDD是知道上一個RDD是怎樣轉變爲當前狀態的,因此若是出錯就能夠很容易的從新演繹計算過程。 orm

Reference:

1. http://blog.csdn.net/map_lixiupeng/article/details/41958561 htm

2. http://www.dataguru.cn/thread-588091-1-1.html blog

3. http://my.oschina.net/hanzhankang/blog/200275 內存

相關文章
相關標籤/搜索