Kafka Manager幾個指標含義

時間 2019-11-07

原文原文鏈接

記憶早退blog

Brokers Spread：看做broker使用率，如kafka集羣9個broker，某topic有7個partition，則broker spread: 7 / 9 = 77%kafka

Brokers Skew：partition是否存在傾斜，如kafka集羣9個broker，某topic有18個partition，正常每一個broker應該2個partition。若其中有3個broker上的partition數>2，則broker skew: 3 / 9 = 33%it

Brokers Leader Skew：leader partition是否存在傾斜，如kafka集羣9個broker，某topic14個partition，則正常每一個broker有2個leader partition。若其中一個broker有0個leader partition，一個有4個leader partition，則broker leader skew: (4 - 2) / 14 = 14%io

因爲kafka全部讀寫都在leader上進行， broker leader skew會致使不一樣broker的讀寫負載不均衡，配置參數 auto.leader.rebalance.enable=true 能夠使kafka每5min自動作一次leader的rebalance，消除這個問題。集羣

另外一個比較關心的問題是Lag爲何有時是負數？配置

Lag表明consumer的消費能力，計算公式爲Lag = Consumer Offset - LogSize，Kafka Manager先從zk獲取LogSize，再從kafka __consumer_offsets topic讀取Offset。兩步操做存在一個時間gap，所以吞吐很大的topic上會出現Offset > LogSize的狀況。致使Lag負數。im

以下圖:top

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。