RDD介紹與執行

    repartition 增加或減少分區。會產生shuffle。(多個分區分到一個分區不會產生shuffle) coalesce coalesce常用來減少分區,第二個參數是減少分區的過程中是否產生shuffle。 true爲產生shuffle,false不產生shuffle。默認是false。 如果coalesce設置的分區數比原來的RDD的分區數還多的話,第二個參數設置爲false不會起
相關文章
相關標籤/搜索