SPARK 寬依賴 和窄依賴 transfer action lazy策略之間的關係

  下面這段在網上拷貝的數據結構   寬依賴 和窄依賴   說明該操做是 是否有shuffler 操做   成長(lineage )的來源    app     最有趣的部分是DAGScheduler。下面詳解它的工做過程。RDD的數據結構裏很重要的一個域是對父RDD的依賴。如圖3所示,有兩類依賴:窄(Narrow)依賴和寬(Wide)依賴。  機器學習   圖3 窄依賴和寬依賴ide 窄依賴指父
相關文章
相關標籤/搜索