一次清理Hbase的oldWALs的過程

HBase版本:1.3.1shell

Hadoop版本:2.7.1oop

Zookeeper版本:3.4.63d

---------------------------------日誌

檢查線上業務系統的磁盤空間,blog

發現HDFS的oldWALs日誌佔用了大量的空間。rem

咱們的集羣分爲兩套,前置一套,後置一套,get

其中,利用hbase的replication功能能,由前置向後置集羣同步數據。同步

 

通過一翻調查以後,發現replication功能打開的時候,it

hbase的oldWALs就不會自動清理了,因而嘗試關閉replication功能。io

 

  • 前置集羣

在hbase shell中,使用remove_peer命令,刪除複製的peer。

HBase自動清理了必定的oldWALs,釋放了必定的空間。

 

修改以後的結果以下:

 

  • 後置集羣

與前置集羣略有不一樣,採用的措施是把hbase下面這個配置項關掉

關掉以後,重啓HBase集羣,oldWALs就被清理 掉了。

 

好了,明天能夠安心的去北戴河度假了。

很是感謝熱心網友的幫助。

 

參考連接:

https://stackoverflow.com/questions/28725364/hbase-oldwals-what-it-is-and-how-can-i-clean-it

https://developer.ibm.com/answers/questions/334976/why-is-my-hbase-oldwals-folder-just-filling-up/

相關文章
相關標籤/搜索