Spark SQL Join類型

Spark SQL join工作是通過使用executors 操作DataFrame的多個分區,具體的過程和性能依賴join type和datasets的特徵。join的過程中,包含了shuffle join 和broadcast join; 在兩個大的datasets join的過程中,進行了 shuffle join,使左右的dataset的分區數據到達executors。如:        
相關文章
相關標籤/搜索