Spark RDD上的map operators是如何pipeline起來的

本文原文(點擊下面 閱讀原文 便可進入):https://www.jianshu.com/p/45c9ee55eea6算法 最近在工做討論中,同事提出了這麼一個問題:做用在一個RDD/DataFrame上的連續的多個map是在對數據的一次循環遍歷中完成的仍是須要屢次循環?apache 當時我很天然地回答說:不須要屢次循環,spark會將多個map操做pipeline起來apply到rdd part
相關文章
相關標籤/搜索