kafka中處理超大消息的一些考慮

Kafka設計的初衷是迅速處理短小的消息，通常10K大小的消息吞吐性能最好（可參見LinkedIn的kafka性能測試）。但有時候，咱們須要處理更大的消息，好比XML文檔或JSON內容，一個消息差很少有10-100M，這種狀況下，Kakfa應該如何處理？ 針對這個問題，有如下幾個建議：算法   最好的方法是不直接傳送這些大的數據。若是有共享存儲，如NAS, HDFS, S3等，能夠把這些大的文件存

>>阅读原文<<