大數據學習筆記14:MapReduce處理流程二

 MapReduce處理流程二   1、另一個流程圖          注意點:1.1、可以自定義 分區函數  控制分區行爲                       1.2、緩衝區默認排序算法爲 快速排序               2、爲什麼要進行分區?       爲了實現並行處理。爲了使後面多個 reduce能同時處理數據。       這裏分區的目的其實和inputformat 切分數
相關文章
相關標籤/搜索