Spark計算引擎原理

1、Spark內部原理 ——經過RDD，建立DAG（邏輯計劃） ——爲DAG生成物理查詢計劃 ——調用並執行Task web 2、生成邏輯執行圖：產生RDD 生成RDD的DAG圖。 網絡 3、生成邏輯執行圖：RDD之間關係 依賴關係分爲兩類。 徹底依賴前面的partition只對應後面的一個partition，不會是多個。重點關注部分依賴（shuffle） 框架 4、生成邏輯執行圖：Shuffle

>>阅读原文<<