Hadoop中Partition深度解析

舊版 API 的 Partitioner 解析 Partitioner 的作用是對 Mapper 產生的中間結果進行分片,以便將同一分組的數據交給同一個 Reducer 處理,它直接影響 Reduce 階段的負載均衡。舊版 API 中 Partitioner 的類圖如圖所示。它繼承了JobConfigurable,可通過 configure 方法初始化。它本身只包含一個待實現的方法 getPart
相關文章
相關標籤/搜索