spark進行map,join分worker數少的一些問題

1、fullouterjoin導致的分配worker少： 一開始 然後加coalesce（1000） 還是用的worker很少 然後調整join順序，之前是（小數據）fullouterjoin(大數據)，把大小數據順序調換，worker多了，執行變快 最後結果 ps: 改變join時spark shuffle用的worker數 --conf spark.sql.shuffle.partitions

>>阅读原文<<