Spark中劃分stage的規則

RDD操作 轉化(Transformation):泛指接收RDD作爲輸入,並輸出RDD的函數。被劃分爲窄依賴和寬依賴。 行爲(Action):將RDD轉化爲非RDD的變量的操作。通常用於返回RDD計算的最終結果。 窄依賴和寬依賴 窄依賴(Narrow Dependencies):父RDD集的一個分區最多被子RDD集的一個分區所依賴。                                
相關文章
相關標籤/搜索