Spark算子篇詳解

算子從是否觸發job的角度劃分,能夠分爲Transformation算子和Action算子,Transformation算子不會產生job,是惰性算子,只記錄該算子產生的RDD及父RDD的partiton之間的關係,而Action算子將觸發job,完成依賴關係的全部計算操做。 算子是優化Spark計算框架的主要依據。html Transformations 下表列出了Spark支持的一些常見轉換。
相關文章
相關標籤/搜索