Hadoop combine函數的作用

combine分爲map端和reduce端,作用是把同一個key的鍵值對合並在一起,可以自定義的。 combine函數把一個map函數產生的<key,value>對(多個key,value)合併成一個新的<key2,value2>.將新的<key2,value2>作爲輸入到reduce函數中這個value2亦可稱之爲values,因爲有多個。這個合併的目的是爲了減少網絡傳輸。
相關文章
相關標籤/搜索