Spark廣播變量之超大表left join小表詳細介紹

項目場景： 最近工作中遇到一個場景： 有一個超大表3.5T和一個小表963K 需要做關聯查詢，使用到廣播變量，廣播小表數據，left join後接小表。 領提出優化，說小表在左left join可以執行效率，爲了驗證領導所說的，專門進行了測試 問題描述： 使用一個300m的表和10k的表進行測試，結果如下： left join，小表在右進行廣播 sparkSQL-執行計劃如下： 可以看出是Broa

>>阅读原文<<