spark例子

MAP變換例子: 用map 給英語成績+1分給數學成績-1分 flatMap() (1)reduce():並行彙總所有RDD元素 reduce()參數是一個函數,這個函數有兩個參數(首先會分區(默認分區數量與虛擬機的核心數有關,我的是2),然後每個分區得出結果最後彙總),兩個參數分別是每次分區後兩個分區的結果 執行過程: 分區:[(1,2),(3,4)] 第一次結果:[3,7] 最後結果:10 嘗
相關文章
相關標籤/搜索