Spark算子篇詳解

算子從是否觸發job的角度劃分,可以分爲Transformation算子和Action算子,Transformation算子不會產生job,是惰性算子,只記錄該算子產生的RDD及父RDD的partiton之間的關係,而Action算子將觸發job,完成依賴關係的所有計算操作。 算子是優化Spark計算框架的主要依據。 Transformations 下表列出了Spark支持的一些常見轉換。有關詳細
相關文章
相關標籤/搜索