Spark常見20個面試題(含大部分答案)

一、什麼是寬依賴,什麼是窄依賴?哪些算子是寬依賴,哪些是窄依賴? 窄依賴就是一個父RDD分區對應一個子RDD分區,如map,filter 或者多個父RDD分區對應一個子RDD分區,如co-partioned joinhtml 寬依賴是一個父RDD分區對應非所有的子RDD分區,如groupByKey,ruduceByKey 或者一個父RDD分區對應所有的子RDD分區,如未經協同劃分的join htt
相關文章
相關標籤/搜索