如何爲Kafka集羣選擇合適的Topics/Partitions數量

這是許多kafka使用者經常會問到的一個問題。本文的目的是介紹與本問題相關的一些重要決策因素,並提供一些簡單的計算公式。 越多的分區可以提供更高的吞吐量 首先我們需要明白以下事實:在kafka中,單個patition是kafka並行操作的最小單元。在producer和broker端,向每一個分區寫入數據是可以完全並行化的,此時,可以通過加大硬件資源的利用率來提升系統的吞吐量,例如對數據進行壓縮。在
相關文章
相關標籤/搜索