Hadoop筆記之shuffle工做流程圖及其原理分析

Map函數開始產生輸出時,並非簡單地將數據寫到本地磁盤,這個過程很複雜,他利用緩衝的方式寫到內存,並出於效率的考慮進行與排序函數 與其說shuffle爲mapreduce之間的獨立處理函數 不如說是map中數據輸入reduce一通道,由於shuffle一部分屬於對map task  另外一部分爲reduce task fetch 名詞翻譯:spa input split  輸入流切分       

>>阅读原文<<