Hadoop nn 主備切換致使HBase集羣掛掉，HBase rs自動下線問題

2018-03-14

Hadoop nn 主備切換致使HBase集羣掛掉問題

# 創建hdfs-site.xml文件的符號連接 ln -s /app/hadoop/etc/hadoop/hdfs-site.xml /app/hbase/conf # 修改hbase-site.xml文件的參數配置 將 <!--region服務器的共享目錄，用來持久存儲HBase的數據 -->
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://namenode01:9000/hbase</value>
        </property> 改爲 <!--region服務器的共享目錄，用來持久存儲HBase的數據 -->
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://cluster1/hbase</value>
        </property>

HBase rs自動下線問題

rs掛以前有過長時間的gc，致使長時間未與ZooKeeper通訊，從而被zookeeper認爲已經離線，觸發了org.apache.hadoop.hbase.YouAreDeadException異常，形成了region server下線。從咱們的hbase日誌分析，rs 掛以前有84秒的gc時間，這84秒 rs沒響應了。

優化辦法：

# 修改hbase-env.sh文件的參數配置 export HBASE_HEAPSIZE=16G export HBASE_REGIONSERVER_OPTS="-Xmx16g -Xms16g -Xmn128m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:$HBASE_LOG_DIR/gc-$(hostname)-hbase.log"

 

【參考資料】

1.Hadoop NameNode HA 切換引發的Hbase錯誤，以及Hbase如何基於NameNode的HA進行配置

2.hbase full gc問題解決

3.hbase內存分配那些事

4.每隔一段時間，hbase 的讀就會停頓10s的緣由及解決辦法