【Spark的那些事兒】DAG讓計算更簡單

​看過了Spark的核心RDD和RDD算子之後,感受Spark是否是很神奇,居然能夠減小計算次數,優化計算。對於窄依賴是這樣的,可是寬依賴怎麼辦?仍是要等待寬依賴的結果才能繼續計算。Spark引入了DAG來記錄寬依賴的計算過程,這樣在遇到寬依賴的時候,咱們就能夠一邊記錄當前的計算過程一邊計算Stage中的窄依賴了。下面咱們就來看看DAG是什麼。   1、什麼是DAG?java 2、spark框架中
相關文章
相關標籤/搜索