spark廣播變量

一、前述 Spark中因爲算子中的真正邏輯是發送到Executor中去運行的，所以當Executor中需要引用外部變量時，需要使用廣播變量。 累機器相當於統籌大變量，常用於計數，統計。 二、具體原理 1、廣播變量 廣播變量理解圖       注意事項 1、能不能將一個RDD使用廣播變量廣播出去？        不能，因爲RDD是不存儲數據的。可以將RDD的結果廣播出去。 2、 廣播變量只能在Dri

>>阅读原文<<