centos7下Zookeeper+sheepdog集羣搭建

zookeeper

安裝命令

1. yum install zookeeper -y            （版本：zookeeper.x86_64      3.4.6-1）
2. yum install zookeeper-lib -y  

 

       （版本：zookeeper-lib.x86_64   3.4.6-1）

配置文件：/etc/zookeeper/zoo.cfg

做以下修改：

1. maxClientCnxns=50
2. tickTime=2000
3. initLimit=10
4. syncLimit=5
5. dataDir=/var/lib/zookeeper/data        //保證目錄存在，不然啓動出錯。
6. dataLogDir=/var/lib/zookeeper/dateLogDir  
7. clientPort=2181
8. autopurge.purgeInterval=3
9. autopurge.SnapRetainCount=3
10. server.1=節點1存儲網IP:2888:3888      //1,2,3對於在myid中寫入
11. server.2=節點2存儲網IP:2888:3888
12. server.3=節點3存儲網IP :2888:3888

 

java環境變量：vim /etc/zookeeper /java.env

做以下修改：

1. # zk buffer size 64M
2. export JVMFLAGS="-Djute.maxbuffer=0x3FFFFC0 $JVMFLAGS"
3. # java heap size 16GB
4. export JVMFLAGS="-Xms16g -Xmx16g $JVMFLAGS"     //注意兩個16G要改

 

注：設置爲內存的1/4，測試域設置爲16G

java環境變量設置：/etc/zookeeper/zookeeper-env.sh

作以下修改：

export JAVA_HOME=/usr

myid文件：建立  vim  /var/lib/zookeeper/data/myid

內容以下：

根據/etc/zookeeper/zoo.cfg中server.X設置，通常值爲1或者2或者3。

設置dateLogDir：建立 mkdir /var/lib/zookeeper/dateLogDir

(能夠不用)

#現行方案中，單獨掛載一個SATA硬盤。（部署環境中選擇zk節點上的/dev/sdl）

#mkfs.ext4 -T largefile /dev/***  （選擇一塊獨立磁盤）

#mkdir /var/lib/zookeeper/dateLogDir

#mount /dev/*** /var/lib/zookeeper/dateLogDir

#blkid /dev/***  獲取UUID

#設置/etc/fstab，用vim /etc/fstab在最後添加以下行

#UUID=046498f8-a077-40b9-af84-7f8e9eed9afd /var/lib/zookeeper/dateLogDir ext4 defaults 0 0

配置啓動腳本：/etc/init.d/zookeeper

註釋掉：#source /etc/rc.d/init.d/functions

修改#daemon -user zookeeper zkServer.sh start爲zkServer.sh start

修改#daemon -user zookeeper zkServer.sh stop爲zkServer.sh stop

修改

checkstatus() {

  status –p $PIDFILE ${JAVA_HOME} /bin/java

  RETVAL=$?

}

爲

status() {

  zkServer.sh status

  RETVAL=$?

  return $RETVAL

}

並修改service status的函數入口：

status)

    status

;;

 

檢查zk狀態命令

1. # service zookeeper start
2. # service zookeeper status
3. # yum install nmap-ncat -y
4. #echo stat|nc localhost 2181

 

 

 

 

sheepdog

 

安裝缺失包

1. yum install automake.noarch -y    （版本：automake.noarch            1.13.4-3.el7）
2. yum install libtool -y              （版本：libtool.x86_64               2.4.2-21.el7_2）
3. yum install userspace-rcu -y       （版本：userspace-rcu.x86_64       0.7.9-1.el7）
4. yum install userspace-rcu-devel -y  （版本：userspace-rcu-devel.x86_64  0.7.9-1.el7）
5. yum install yasm -y               （版本：yasm.x86_64               1.2.0-4.el7）

 

 

將sheepdog的壓縮包拷貝到任意目錄下解壓，編譯命令

1. cd sheepdog
2. ./autogen.sh
3. ./configure --enable-zookeeper --disable-corosync
4. make
5. make install

 

配置pc_san_conf.ini

 

1. groupadd ebsadmin
2. useradd -g ebsadmin ebsadmin
3. mkdir /home/ebsadmin/serNode
4. chown ebsadmin:ebsadmin serNode -R
5. vim serNode/pc_san_conf.ini

 

 

 

 

 

 

注：看掛載了幾個盤，根據掛載的盤，來寫下面的文件

文件內容以下：

1. [RAID]
2. storage.path =/shd/meta,/shd/obj1,/shd/obj2,/shd/obj3,/shd/obj4,/shd/obj5,/shd/obj6,/shd/obj7,/shd/obj8,/shd/obj9,/shd/obj10,/shd/obj11,/shd/obj12
3. level =0
4. [SHEEPDOG]
5. shdcmds =/shd/meta,/shd/obj1,/shd/obj2,/shd/obj3,/shd/obj4,/shd/obj5,/shd/obj6,/shd/obj7,/shd/obj8,/shd/obj9,/shd/obj10,/shd/obj11,/shd/obj12 -p 7000-c zookeeper:172.18.12.144:2181,172.18.12.53:2181,172.18.12.17:2181-ldir=/var/log  -z 1-i host=172.18.12.5,port=7001-y 172.16.172.5--nosync

 

 

 

啓動配置/home/ebsadmin/serNode/sheepdog

建立sheepdog文件：[root@lrr2 serNode]# touch sheepdog

文件內容以下：

1. ulimit -n 409600
2. cmds=`grep "shdcmds"/home/ebsadmin/serNode/pc_san_conf.ini`&& SHEEP_OPTS=${cmds#shdcmds =}
3. /usr/sbin/sheep --pidfile /var/run/sheep.pid $(if[-z "$SHEEP_OPTS"]; then echo "--cluster local --log dst=syslog --upgrade /var/lib/sheepdog";else echo $SHEEP_OPTS; fi)

 

修改文件權限chmod +x /home/ebsadmin/serNode/sheepdog

 

 

 

啓動配置/usr/lib/systemd/system/sheepdog.service

文件內容以下：

1. [Unit]
2. Description=Sheepdog QEMU/KVM BlockStorage
3. After=network.target
4. Wants=syslog.target
5. [Service]
6. EnvironmentFile=-/etc/conf.d/sheepdog.conf
7. EnvironmentFile=-/etc/sysconfig/sheepdog
8. EnvironmentFile=-/etc/default/sheepdog
9. ExecStart=/bin/sh -c '/home/ebsadmin/serNode/sheepdog'
10. PIDFile=/var/run/sheep.pid
11. Type=forking
12. Restart=on-abort
13. StartLimitInterval=10s
14. StartLimitBurst=3
15. [Install]
16. WantedBy=multi-user.target

 

 

驗證sheepdog是否安裝成功

[root@lrr2 /]# type sheep

#service sheepdog start

#systemctl status sheepdog.servic

 

驗證功能好使

 

遇到的問題：

一、配置pc_san_conf.ini時填寫的路徑不對，覺得是填寫盤符，按如上填寫便可，注意建立shd目錄。

2.、由於以前安裝過sheepdog，致使sheep和dog的版本不一致，刪除/usr/bin和/usr/sbin/下的dog，而後從新編譯。

 

 

 

 

 

 

 

 

 

來自爲知筆記(Wiz)