spark 邏輯執行圖&物理執行圖

1.邏輯執行圖 job 會經過哪些transformation 中間會生成哪些rdd rdd之間的依賴關係 narrow dependences :父rdd 中的數據不被拆分 shuffle dependences : 父rdd中的數據被拆分 rdd中的partition個數 一般情況下由父rdd的最大partition個數來決定,部門rdd可以由用戶來指定,比如shffledRDD 2.物理執行
相關文章
相關標籤/搜索