【Spark篇】--Spark中的寬窄依賴和Stage的劃分

一、前述 RDD之間有一系列的依賴關係，依賴關係又分爲窄依賴和寬依賴。 Spark中的Stage其實就是一組並行的任務，任務是一個個的task 。 二、具體細節   窄依賴 父RDD和子RDD partition之間的關係是一對一的。或者父RDD一個partition只對應一個子RDD的partition情況下的父RDD和子RDD partition關係是多對一的。不會有shuffle的產生。父R

>>阅读原文<<