Haproxy+keepalived高可用集羣實戰

1.1  Haproxy+keepalived高可用集羣實戰

隨着互聯網火熱的發展，開源負載均衡器的大量的應用，企業主流軟件負載均衡如LVS、Haproxy、Nginx等，各方面性能不亞於硬件負載均衡F5，Haproxy提供高可用性、負載均衡以及基於TCP和HTTP應用的代理，支持虛擬主機，它是免費、快速而且可靠的一種解決方案。

1.1.1  Haproxy入門簡介

HAProxy特別適用於那些負載特大的web站點，這些站點一般又須要會話保持或七層處理。負載均衡LVS是基於四層，新型的大型互聯網公司也在採用Haproxy，瞭解了Haproxy大併發、七層應用等，Haproxy高性能負載均衡優勢：

q HAProxy是支持虛擬主機的，能夠工做在4、7層；

q 可以補充Nginx的一些缺點好比Session的保持，Cookie的引導等工做；

q 支持url檢測後端的服務器；

q 它跟LVS同樣，只是一款負載均衡軟件，單純從效率上來說HAProxy更會比Nginx有更出色的負載均衡速度，在併發處理上也是優於Nginx的；

q HAProxy能夠對Mysql讀進行負載均衡，對後端的MySQL節點進行檢測和負載均衡，HAProxy的支持多種算法。

Haproxy+Keepalived企業高性能WEB可以支持千萬級併發網站，實現Haproxy高性能WEB網站架構配置步驟以下：

1.1.2  Haproxy安裝配置

Haproxy安裝配置步驟相對比較簡單，跟其餘源碼軟件安裝方法大體相同，以下爲Haproxy配置方法及步驟：

（1） Haproxy編譯及安裝

cd /usr/src wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.21.tar.gz   tar xzf haproxy-1.4.21.tar.gz cd haproxy-1.4.21 make  TARGET=linux26  PREFIX=/usr/local/haproxy/ make  install  PREFIX=/usr/local/haproxy

（2） 配置Haproxy服務

cd /usr/local/haproxy ;mkdir -p etc/ touch /usr/local/haproxy/etc/haproxy.cfg

（3） Haproxy.cfg配置文件內容以下：

global     log 127.0.0.1 local0     log 127.0.0.1 local1 notice     maxconn 4096     uid 99     gid 99     daemon defaults     log global     mode http     option httplog     option dontlognull     retries 3     option redispatch     maxconn 2000     contimeout 5000     clitimeout 50000     srvtimeout 50000 frontend http-in     bind *:80     acl is_www.jf1.com hdr_end(host) -i  jf1.com     acl is_www.jf2.com hdr_end(host) -i  jf2.com     use_backend  www.jf1.com  if  is_www.jf1.com     use_backend  www.jf2.com  if  is_www.jf2.com     default_backend  www.jf1.com backend www.jf1.com     balance roundrobin     cookie SERVERID insert nocache indirect     option httpchk HEAD /index.html HTTP/1.0     option httpclose     option forwardfor     server  jf1  192.168.33.11:80  cookie  jf1  check inter 1500 rise 3 fall 3 weight 1 backend www.jf2.com     balance roundrobin     cookie SERVERID insert nocache indirect     option httpchk HEAD /index.html HTTP/1.0     option httpclose     option forwardfor     server  jf2  192.168.33.11:81  cookie  jf2  check inter 1500 rise 3 fall 3 weight 1

（4） 啓動Haproxy服務

/usr/local/haproxy/sbin/haproxy   -f   /usr/local/haproxy/etc/haproxy.cfg

啓動Haproxy報錯以下：

[WARNING] 217/202150 (2857) : Proxy 'chinaapp.sinaapp.com': in multi-process mode, stats will be limited to process assigned to the current request.

修改源碼配置src/cfgparse.c找到以下行，調整nbproc > 1數值便可：

if (nbproc > 1) {   if (curproxy->uri_auth) { - Warning("Proxy '%s': in multi-process mode, stats will be limited to process assigned to the current request.\n", + Warning("Proxy '%s': in multi-process mode, stats will be limited to the process assigned to the current request.\n",

1.1.3  Haproxy配置文件詳解

Hproxy配置文件內容詳解以下：

######全局配置信息####### global        maxconn 20480 #默認最大鏈接數        log 127.0.0.1 local3 #[err warning info debug]        chroot /usr/local/haproxy #chroot運行的路徑        uid 99 #所屬運行的用戶uid        gid 99 #所屬運行的用戶組        daemon #之後臺形式運行haproxy        nbproc 8 #進程數量(能夠設置多個進程提升性能)        pidfile /usr/local/haproxy/haproxy.pid #haproxy的pid存放路徑,啓動進程的用戶必須有權限訪問此文件        ulimit-n 65535 #ulimit的數量限制 ###########默認的全局設置########## ##這些參數能夠被利用配置到frontend，backend，listen組件## defaults        log global        mode http #所處理的類別 (#7層 http;4層tcp )        maxconn 20480 #最大鏈接數        option httplog #日誌類別http日誌格式        option httpclose #每次請求完畢後主動關閉http通道        option dontlognull #不記錄健康檢查的日誌信息        option forwardfor #若是後端服務器須要得到客戶端真實ip須要配置的參數，能夠從Http Header中得到客戶端ip        option redispatch #serverId對應的服務器掛掉後,強制定向到其餘健康的服務器        option abortonclose #當服務器負載很高的時候，自動結束掉當前隊列處理比較久的鏈接        stats refresh 30 #統計頁面刷新間隔        retries 3 #3次鏈接失敗就認爲服務不可用，也能夠經過後面設置        balance roundrobin #默認的負載均衡的方式,輪詢方式       #balance source #默認的負載均衡的方式,相似nginx的ip_hash       #balance leastconn #默認的負載均衡的方式,最小鏈接        contimeout 5000 #鏈接超時        clitimeout 50000 #客戶端超時        srvtimeout 50000 #服務器超時        timeout check 2000 #心跳檢測超時 ##############監控頁面的設置########### listen admin_status #Frontend和Backend的組合體,監控組的名稱，按需自定義名稱         bind 0.0.0.0:65532 #監聽端口         mode http #http的7層模式         log 127.0.0.1 local3 err #錯誤日誌記錄         stats refresh 5s #每隔5秒自動刷新監控頁面         stats uri /admin?stats #監控頁面的url         stats realm jfedu\ jfedu #監控頁面的提示信息         stats auth admin:admin #監控頁面的用戶和密碼admin,能夠設置多個用戶名         stats hide-version #隱藏統計頁面上的HAproxy版本信息         stats admin if TRUE #手工啓用/禁用,後端服務器； ##########監控haproxy後端服務器的狀態############ listen site_status        bind 0.0.0.0:1081 #監聽端口        mode http #http的7層模式        log 127.0.0.1 local3 err #[err warning info debug]        monitor-uri /site_status #網站健康檢測URL，用來檢測HAProxy管理的網站是否能夠用，正常返回200，不正常返回503        acl site_dead nbsrv(server_web) lt 2 #定義網站down時的策略當掛在負載均衡上的指定backend的中有效機器數小於1臺時返回true        monitor fail if site_dead #當知足策略的時候返回503，網上文檔說的是500，實際測試爲503        monitor-net 192.168.149.129/32 #來自192.168.149.129的日誌信息不會被記錄和轉發；        monitor-net 192.168.149.130/32 #來自192.168.149.130的日誌信息不會被記錄和轉發； ########frontend配置############ #####注意，frontend配置裏面能夠定義多個acl進行匹配操做######## frontend http_80_in        bind 0.0.0.0:80 #監聽端口，即haproxy提供web服務的端口，和lvs的vip端口相似        mode http #http的7層模式        log global #應用全局的日誌配置        option httplog #啓用http的log        option httpclose #每次請求完畢後主動關閉http通道，HA-Proxy不支持keep-alive模式        option forwardfor #若是後端服務器須要得到客戶端的真實IP須要配置次參數，將能夠從Http Header中得到客戶端IP        ########acl策略配置#############        acl jfedu_web hdr_reg(host) -i ^(www1.jfedu.net|www2.jfedu.net)$        #若是請求的域名知足正則表達式中的2個域名返回true -i是忽略大小寫        #若是請求的域名知足www.jfedu.net返回true -i是忽略大小寫        #acl jfedu hdr(host) -i jfedu.net        #若是請求的域名知足jfedu.net返回true -i是忽略大小寫        #acl file_req url_sub -i killall=        #在請求url中包含killall=，則此控制策略返回true,不然爲false        #acl dir_req url_dir -i allow        #在請求url中存在allow做爲部分地址路徑，則此控制策略返回true,不然返回false        #acl missing_cl hdr_cnt(Content-length) eq 0        #當請求的header中Content-length等於0時返回true ########acl策略匹配相應#############        #block if missing_cl        #當請求中header中Content-length等於0阻止請求返回403        #block if !file_req || dir_req        #block表示阻止請求，返回403錯誤，當前表示若是不知足策略file_req，或者知足策略dir_req，則阻止請求        use_backend server_web if jfedu_web        #當知足jfedu_web的策略時使用server_web的backend ##########backend的設置############## backend server_web        mode http #http的7層模式        balance roundrobin #負載均衡的方式，roundrobin平均方式        cookie SERVERID #容許插入serverid到cookie中，serverid後面能夠定義        option httpchk GET /index.html #心跳檢測的文件        server web1 192.168.149.129:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1        #服務器定義，cookie 1表示serverid爲web1，check inter 1500是檢測心跳頻率rise 3是3次正確認爲服務器可用，        #fall 3是3次失敗認爲服務器不可用，weight表明權重        server web2 192.168.149.130:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2        #服務器定義，cookie 1表示serverid爲web2，check inter 1500是檢測心跳頻率rise 3是3次正確認爲服務器可用，        #fall 3是3次失敗認爲服務器不可用，weight表明權重。

1.1.4  安裝Keepalived服務

cd /usr/src ; wget http://www.keepalived.org/software/keepalived-1.2.1.tar.gz tar xzf keepalived-1.2.1.tar.gz cd keepalived-1.2.1 && ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-71.el6.x86_64/ make &&make install DIR=/usr/local/ ;cp $DIR/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/ cp $DIR/etc/sysconfig/keepalived /etc/sysconfig/ mkdir -p /etc/keepalived  && cp $DIR/sbin/keepalived /usr/sbin/

1.1.5  配置Haproxy+keepalived

Haproxy+keealived Master端keepalived.conf配置文件以下：

! Configuration File for keepalived  global_defs {  notification_email {       xxx@139.com  }     notification_email_from wgkgood@139.com     smtp_server 127.0.0.1     smtp_connect_timeout 30     router_id LVS_DEVEL  }  vrrp_script chk_haproxy {     script "/data/sh/check_haproxy.sh"    interval 2    weight 2  }  # VIP1  vrrp_instance VI_1 {      state  MASTER      interface eth0      lvs_sync_daemon_inteface eth0      virtual_router_id 151      priority 100      advert_int 5      nopreempt      authentication {          auth_typePASS          auth_pass 2222      }      virtual_ipaddress {          192.168.0.133      }      track_script {      chk_haproxy     }  }

1.1.6  建立haproxy腳本

設置可執行權限chmod +x check_haproxy.sh，腳本內容以下：

#!/bin/bash #auto check haprox process killall -0 haproxy if    [[ $? -ne 0 ]];then    /etc/init.d/keepalived stop fi

 Haproxy+keealived Backup端keepalived.conf配置文件以下：

! Configuration File for keepalived  global_defs {  notification_email {       xxx@139.com  }     notification_email_from wgkgood@139.com     smtp_server 127.0.0.1     smtp_connect_timeout 30     router_id LVS_DEVEL  }  vrrp_script chk_haproxy {     script "/data/sh/check_haproxy.sh"    interval 2    weight 2  }  # VIP1  vrrp_instance VI_1 {      state  BACKUP      interface eth0      lvs_sync_daemon_inteface eth0      virtual_router_id 151      priority  90      advert_int 5      nopreempt      authentication {          auth_typePASS          auth_pass 2222      }      virtual_ipaddress {          192.168.0.133      }      track_script {      chk_haproxy     }  }

1.1.7  測試Haproxy+Keepalived服務

手動kill掉131的haproxy進程後，130的keepalived後臺日誌顯示以下，而且訪問133 VIP正常訪問，提供服務，則證實Haproxy+keepalived高可用架構配置完畢，如圖23-4（a）、23-4（b）、23-24（c）、23-24（d）所示：

圖23-4（a） Haproxy+Keepalived網站架構

圖23-4（b） Haproxy+Keepalived網站架構

圖23-4（c） Haproxy+Keepalived網站架構

圖23-4（d） Haproxy+Keepalived網站架構