Spark性能調優之廣播變量

廣播變量概述及其優勢 廣播變量(groadcast varible)爲只讀變量，它有運行SparkContext的driver程序創建後發送給參與計算的節點。對那些需要讓工作節點高效地訪問相同數據的應用場景，比如機器學習。我們可以在SparkContext上調用broadcast方法創建廣播變量： 廣播變量也可以被非driver程序所在節點(即worker)訪問，訪問方法就是調用該變量的value

>>阅读原文<<