Spark的join什麼情況下可以避免shuffle?

Spark的join操作可能觸發shuffle操作。shuffle操作要經過磁盤IO,網絡傳輸,對性能影響比較大。本文聊一聊Spark的join在哪些情況下可以避免shuffle過程。 1 DataFrame/Dataset的join如何避免shuffle 針對Spark DataFrame/DataSet的join,可以通過broadcast join和bucket join來避免shuffle
相關文章
相關標籤/搜索