大數據-Shuffle工作機制

Shuffle工作機制 Shuffle過程：數據從MapTask拷貝到ReduceTask的過程（MapReduce的核心） Shuffle基本要求： （1）完整地將數據從MapTask端拷貝到ReduceTask端 （2）在拷貝過程中，應儘量減少網絡資源的消耗 （3） 儘可能地減少磁盤IO對Task執行效率的影響 （1）經過map()方法後，將數據寫入環形緩衝區（默認爲100M） （2）當緩衝區

>>阅读原文<<