shuffle的工做原理

shuffle實現的功能web 分區 決定當前key交給那個reducer進行處理 相同的key必須在一個reduce task中 默認：按照key的hashCode值對reduce的個數進行取餘 若是是自定義分區，默認是對key進行分區，可是咱們也能夠根據value進行分區多線程 分組 將相同的key的value進行合併，key相同的話，會分到同一組 在mapReduce階段 一行調用一次map

>>阅读原文<<