Spark程序設計——accumulator、廣播變量、cache

(一)accumulator(累加器、計數器) 相似於MapReduce中的counter,將數據從一個節點發送到其餘各個節點上去。 一般用於監控,調試,記錄符合某類特徵的數據數目等。 –分佈式counter Accumulator使用web import SparkContext._ val total_counter=sc.accumulator(OL,"total_counter")//第一
相關文章
相關標籤/搜索