Spark中的有向無環圖(DAG:Directed Acyclic Graph)

  DAG是什麼 以文件中單詞出現頻次爲例，來介紹DAG   從上圖看出，一個Transform操作(即懶加載方法）轉換成一個RDD，RDD之間存在依賴關係，最後通過一個ACTION操作函數對數據進行計算。我們把RDD間組成的計算鏈，稱爲DAG(有向無環圖)。通過RDD間的依賴關係，可以跟蹤依賴鏈找到該分區的父分區，重新計算該分區數據，採用這種逆推父分區，恢復數據的方式，實現了RDD的容錯機制。

>>阅读原文<<