spark 廣播變量

Spark廣播變量 使用廣播變量來優化，廣播變量的原理是： 在每一個Executor中保存一份全局變量，task在執行的時候需要使用和這一份變量就可以，極大的減少了Executor的內存開銷。 Executor中task在執行的時候如果使用到了廣播變量，會找Executor裏面的BlockManager來獲取廣播變量。 如果BlockManager中沒有這個關閉變量，會從driver端拉取關閉變量

>>阅读原文<<