餘老師帶你學習大數據-Spark快速大數據處理第四章第三節​Tez實戰編寫

Tez編程實戰 邏輯DataFlow Source就是hdfs的文件,經過map,tokenizer頂點相當於map,做完map就可以輸出單詞加上1,這樣的keyvalue鍵值對。然後對鍵值對求和,因爲這裏的求和之後需要排序,所以求和的過程不像MapReduce直接做Reduce,Reduce之後將value和key進行交換,比如之前是Dear,1現在就是2,Dear。在做Reduce的過程中還增
相關文章
相關標籤/搜索