06-Spark進階編程

前言 下面簡單介紹一些更加深入、實用、高階的Spark知識。 1 共享變量 通常在向Spark傳遞函數時，比如實用map()函數或filter()傳遞條件時，可以使用驅動器程序中定義的變量，但是集羣中運行的每個任務都會得到這些變量的一份新的副本，更新這些副本的值也不會影響驅動器中對應的變量。 Spark的兩個共享變量，累加器和廣播變量，分別爲結果聚合與廣播這兩種常見的通信模式突破了這一限制。 --

>>阅读原文<<