讀者來信 | 如何判斷HBase Major Compact是否執行完畢？（已解決）

前言：以前有朋友加好友與我探討一些問題，我以爲這些問題倒挺有價值的；因而就想在本公衆號開設一個問答專欄，方便技術交流與分享，專欄名就定爲：《讀者來信》。歡迎關注本人微信公衆號《HBase工做筆記》，掃描文末二維碼解鎖更多姿式！

來信人：羅*銘

小猿提問

如何判斷HBase Major Compact是否執行完畢？

小猿解答

這裏提供兩種查看方式：
一種是HBase WebUI 界面； 另一種是HBase Shell命令行 。
咱們下面看一下。

1. HBase WebUI

點擊Web首頁Compactions按鈕查看每個RS Compact完成狀況；
點擊ServerName進入RS Web頁後點擊Compaction Metrics可查看該RS上每個Region Compact 完成狀況。

2. HBase Shell

經過Shell方式查看同WebUI查看大同小異，只不過沒有將這些指標可視化而已。若是有興趣，能夠本身採集這些指標作一個漂亮的監控界面~

經過命令 status 'simple' 可查看HBase RS級別的一些指標，其中 compactionProgressPct=1.0 即代表RS Compact完成。以下：

hbase(main):002:0> status 'simple'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
        requestsPerSecond=211.0, 
		numberOfOnlineRegions=293, 
		usedHeapMB=4861, 
		maxHeapMB=16384, 
		numberOfStores=293, 
		numberOfStorefiles=432, 
		storefileUncompressedSizeMB=97691, 
		storefileSizeMB=35689, 
		compressionRatio=0.3653, 
		memstoreSizeMB=891, 
		storefileIndexSizeMB=0, 
		readRequestsCount=738897443, 
		writeRequestsCount=717989941, 
		rootIndexSizeKB=5413, 
		totalStaticIndexSizeKB=149724, 
		totalStaticBloomSizeKB=63325, 
		totalCompactingKVs=1389414755, 
		currentCompactedKVs=1389414755, 
		compactionProgressPct=1.0, 
		coprocessors=[HBaseSimHashSetBuildSystem, MultiRowMutationEndpoint]
    xxx.xx.xx.xx:6002 1575619966048
        ...

0 dead servers
Aggregate load: 962, regions: 1176

經過命令 status 'detailed' 可查看HBase RS Region 級別的一些指標，其中 compactionProgressPct=1.0 即代表RS Compact完成。以下：

hbase(main):002:0> status 'detailed'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
		"namespace:table,20,1577443984105.518a1fbd9dd64e5956e591fa23556f48."
            numberOfStores=1, 
			numberOfStorefiles=1, 
			storefileUncompressedSizeMB=0, 
			lastMajorCompactionTimestamp=0, 
			storefileSizeMB=0, 
			memstoreSizeMB=0, 
			storefileIndexSizeMB=0, 
			readRequestsCount=0, 
			writeRequestsCount=0, 
			rootIndexSizeKB=0, 
			totalStaticIndexSizeKB=0, 
			totalStaticBloomSizeKB=0, 
			totalCompactingKVs=332285, 
			currentCompactedKVs=332285, 
			compactionProgressPct=1.0, 
			completeSequenceId=-1, 
			dataLocality=1.0
        "namespace:table,1f,1577443984105.61c4ba95dbed1eb52da78c448e2f4bbf."
            ...

0 dead servers

知識點補充

1. 計算公式

在上面的Shell命令行輸出中咱們還看到有兩個與Compact相關的指標，分別是totalCompactingKVs 與 currentCompactedKVs。其實指標 compactionProgressPct 正是由兩者計算得來，以下：

float compactionProgressPct = Float.NaN;
  if( this.totalCompactingKVs > 0 ) {
    compactionProgressPct = Float.valueOf(
        this.currentCompactedKVs / this.totalCompactingKVs);
  }

2. 小版本bug

可能有的朋友會發現本身家的 HBase compactionProgressPct 指標出現了大於100% 狀況，或是 currentCompactedKVs>totalCompactingKVs 等狀況，其實這是HBase小版本出現的一個bug，該bug在 2.0.0-beta 版本中才修復完畢。相關jira 以下：

• HBASE-19767
• HBASE-15906
• HBASE-11979

轉載請註明出處！歡迎關注本人微信公衆號【HBase工做筆記】