hadoop裏shuffle中的環形緩衝區

最近在看<<Hadoop技術內幕>>裏面對shuffle中"奇蹟發生的地方"有比較細緻的敘述 在這整理一下:         在mapper端業務邏輯走完後,調用MapOutputCollector.collect()輸出結果,其中MapOutputCollector這個接口有兩個實現類MapOutputBuffer和DirectMapOutputCollector,後者是在沒有ReduceTas
相關文章
相關標籤/搜索