【Spark的那些事兒】DAG讓計算更簡單

​看過了Spark的核心RDD和RDD算子以後,感覺Spark是不是很神奇,竟然可以減少計算次數,優化計算。對於窄依賴是這樣的,但是寬依賴怎麼辦?還是要等待寬依賴的結果才能繼續計算。Spark引入了DAG來記錄寬依賴的計算過程,這樣在遇到寬依賴的時候,我們就可以一邊記錄當前的計算過程一邊計算Stage中的窄依賴了。下面我們就來看看DAG是什麼。   一、什麼是DAG? 二、spark框架中DAG是
相關文章
相關標籤/搜索