Spark(八)—— RDD依賴關係和Spark任務中的Stage

依賴關係 窄依賴 比喻爲獨生子女。每一個父RDD分區,最多被子RDD的一個分區使用。eg:map,filter,union 寬依賴 多個子RDD分區,依賴同一個父RDD分區。eg:groupByKey 任務劃分階段的依據:寬依賴 DAG(Directed Acyclic Graph)叫做有向無環圖,原始的RDD通過一系列的轉換就形成了DAG,根據RDD之間的依賴關係的不同將DAG劃分成不同的Sta
相關文章
相關標籤/搜索