Hadoop數據壓縮

文章目錄 回顧Shuffle Hadoop數據壓縮 1 概述 2 壓縮策略和原則 3 MR 支持的壓縮編碼 壓縮格式特點 Gzip Bzip2 Lzo **Snappy 回顧Shuffle 加載在map 輸出 reduce 輸入之前這麼一個過程 shuffle目的 —「分組」 環型緩衝區80%（分區排序–同時完成）----combiner----- 溢寫磁盤上（分區且有序 spill.index(

>>阅读原文<<