關於spark.sql.autoBroadcastJoinThreshold設置

今天使用spark對一組大數據進行合併做join操做，一直都報下面的錯：java Exception in thread 「broadcast-exchange-0」 java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodesnode 想來想去，以前也跑過這類的

>>阅读原文<<