我是如何利用Hadoop做大規模日誌壓縮的

背景 剛畢業那幾年有幸進入了當時非常熱門的某社交網站，在數據平臺部從事大數據開發相關的工作。從日誌收集、存儲、數據倉庫建設、數據統計、數據展示都接觸了一遍，比較早的趕上了大數據熱這波浪潮。雖然今天的人工智能的熱度要遠高於大數據，但是大家還是不能否定大數據在人工智能中不可取代的地位。 話回正題，當時遇到了一個需要解決的問題就是如何快速對日誌進行壓縮。那時一天的日誌量大概是3TB左右，共100+種日誌

>>阅读原文<<