【spark】6.編程進階

文章目錄 累加器 廣播變量 基於分區進行操做 與外部程序間的管道 數值RDD操做 累加器 提供了將工做節點中的值聚合到啓動器程序中的簡單語法。常見用途是調試時對做業執行過程當中的事件進行計數。python # 例如累加空行 file = sc.textFile(inputFile) # 建立累加器並初始化爲0 blankLines = sc.accumulator(0) def extractCa

>>阅读原文<<