spark學習之寬依賴,窄依賴

目錄   一:何爲寬,何爲窄 二:寬窄之程序運行效率比較 三:具體比較如圖(細化到 task,executor) 一:何爲寬,何爲窄 以子Rdd對父Rdd的依賴關係爲緯度,1對1爲窄,反之則寬!   二:寬窄之程序運行效率比較 例子1:             窄依賴在自己的節點中,逐個元素地執行map、然後filter操作,父RDD節點的計算不用等待其它父節點的計算結果。           
相關文章
相關標籤/搜索