Spark分佈式計算原理(寬窄依賴，DAG，stage劃分，shuffle過程，Spark計算引擎原理)

文章目錄 1、RDD依賴 1.1 依賴關係 1.2 窄依賴 1.3 寬依賴 1.4 寬依賴對比窄依賴 2、DAG 3、stage劃分 3.1 爲什麼要寫在本地 3.2 移動算子而不是移動數據 4、Spark Shuffle過程 5、Spark計算引擎原理 1、RDD依賴 Spark中RDD的高效與DAG圖有着莫大的關係，在DAG調度中需要對計算過程劃分stage，而劃分依據就是RDD之間的依賴關係

>>阅读原文<<