spark有向無環圖與血緣

Spark 有向無環圖與血緣 當我們提交jar包運行時，spark會在節點中隨機選擇一個節點作爲Driver端，Driver端會運行一遍程序形成DAG(有向無環圖) 然後，數據會根據有向無環圖運行，圖中的每個節點生成的df是一次性的，也就是說C的數據被D1所用後，C的數據就沒有了，當D2用C的數據時，C數據會從A -> B -> C 重新計算 優化：我們將C的數據進行持久化，此時DAG會打斷血緣，

>>阅读原文<<