大數據技術ReduceTask工作機制

1．ReduceTask工作機制 ReduceTask工作機制，如圖4-19所示。     圖4-19 ReduceTask工作機制 （1）Copy階段：ReduceTask從各個MapTask上遠程拷貝一片數據，並針對某一片數據，如果其大小超過一定閾值，則寫到磁盤上，否則直接放到內存中。 （2）Merge階段：在遠程拷貝數據的同時，ReduceTask啓動了兩個後臺線程對內存和磁盤上的文件進行合

>>阅读原文<<