Spark中RDD的寬窄依賴 & 圖解RDD執行中Application、Job、Stage、Task的關係

目錄 1. RDD之間的依賴(以分區爲說明) 2. RDD任務劃分原理 3. Spark中RDD執行階段劃分示意圖 1. RDD之間的依賴(以分區爲說明) 窄依賴:每一個父RDD的Partition中的數據,最多被子RDD的一個Partition使用(單分區 -> 單分區);               窄依賴在源碼裏是OneToOneDependency 寬依賴:同一個父RDD的Partitio
相關文章
相關標籤/搜索