Spark廣播變量

廣播變量 廣播變量：分佈式共享只讀變量。 在多個並行操作中（Executor）使用同一個變量，Spark默認會爲每個任務(Task)分別發送，這樣如果共享比較大的對象，會佔用很大工作節點的內存。 廣播變量用來高效分發較大的對象。向所有工作節點發送一個較大的只讀值，以供一個或多個Spark操作使用。比如，如果你的應用需要向所有節點發送一個較大的只讀查詢表，甚至是機器學習算法中的一個很大的特徵向量，廣

>>阅读原文<<