Hadoop中的shuffle過程總結

shuffle總結     shuffle是mapreduce編程模型中鏈接map階段和reduce階段的最重要環節。是Reduce Task從Map Task拉取數據的一個過程。除了自定義的map和reduce函數，剩下的幾乎都是由框架幫咱們完成。而shuffle就是發生在咱們自定義map函數輸出<k2,v2>到reduce自定義函數獲取<k2,v2s>的過程，中間的處理過程對咱們來講幾乎是透明

>>阅读原文<<