3 weekend110的shuffle機制 + mr程序的組件全貌

前面,講到了hadoop的序列化機制,mr程序開發,自定義排序,自定義分組。 有多少個reduce的併發任務數可以控制,但有多少個map的併發任務數還沒     緩存,分組,排序,轉發,這些都是mr的shuffle。 Soga     現在。來觀察map階段有幾個yarnchild,reduce階段有幾個yarnchild。對應地,就是有多少個map的併發任務數,有多少個reduce的併發任務數
相關文章
相關標籤/搜索