kafka高吞吐量之消息壓縮

背景 保證kafka高吞吐量的另外一大利器就是消息壓縮。就像上圖中的壓縮餅乾。 壓縮即空間換時間，通過空間的壓縮帶來速度的提升，即通過少量的cpu消耗來減少磁盤和網絡傳輸的io。 消息壓縮模型 消息格式V1 kafka不會直接操作單條消息，而是直接操作一個消息集合。 消息格式V2: 1, 抽取了消息的公共部分放到消息集合中；去掉每條消息的公共部分，減少了總體積。 2，消息的CRC校驗由對每一條消息

>>阅读原文<<