JavaSpark-編程進階-廣播變量

程序高效地向全部worker發送一個較大的只讀值（查詢表，機器學習特徵向量），供spark操做使用。 spark會自動將閉包中全部引用的到的變量發送到工做節點上，但低效：java 默認的發送機制是專門爲小任務進行優化的 多個並行操做中使用同一個變量，spark會爲每個操做分別發送 import java.util.Arrays; import java.util.List; import org

>>阅读原文<<