Hadoop中間結果lzop壓縮

爲了節省磁盤空間，文件的存儲每每須要壓縮，有的須要壓縮比大，有的須要壓縮速度快。而對於一套計算的結果存儲，如多個MapReduce之間，須要能支持分片的壓縮方式。lzop就是個能夠支持分片的壓縮方式，很是適合用於多個MapReduce之間的計算中間結果存儲。

1、在Hadoop上安裝lzop與在hive上的使用

https://www.iteblog.com/archi...

2、添加索引以支持分片

lzop默認是不支持分片的，須要添加索引。
https://www.iteblog.com/archi...