Spark學習之編程進階——累加器與廣播(5)

Spark學習之編程進階——累加器與廣播(5) 1. Spark中兩種類型的共享變量:累加器(accumulator)與廣播變量(broadcast variable)。累加器對信息進行聚合,而廣播變量用來高效分發較大的對象。 2. 共享變量是一種能夠在Spark任務中使用的特殊類型的變量。 3. 累加器的用法: 經過在驅動器中調用SparkContext.accumulator(initialV
相關文章
相關標籤/搜索