Spark解決數據傾斜的方法

Spark共享變量 計數器 和 廣播變量是Spark提供的兩個共享變量，提供給不同結點上的RDD函數使用 計數器 一個只能增加，用於計數和求和的變量 創建方法是SparkContext.accumulator(v, name)，其中v是初始值，name是名稱   廣播變量 一個只讀變量，spark把該變量在所有結點上都緩存一份 創建方法是SparkContext.broadcast(變量)   S

>>阅读原文<<