Hadoop中不容錯過的壓縮知識

隨着大數據時代的來臨，數據體量越來越大，處理這些數據會越來越受到網絡IO的限制，爲了儘可能多的處理更多的數據我們必須使用壓縮。那麼壓縮在Hadoop裏面是不是所有格式都適用呢?它都有哪些性能呢? 壓縮在sqoop裏面可以做，在hive和impala裏面也可以做。那麼什麼情況下我們會用壓縮呢?通常在數據量非常大，我們通過壓縮去減小數據量，從而達到將來去使用數據的時候，減少數據傳輸IO的情況下去使用。

>>阅读原文<<