nginx實現請求的負載均衡 + keepalived實現nginx的高可用

目錄

• 前言
• 環境準備
• tomcat作應用服務器
• nginx作負載均衡
• keepalived實現nginx高可用(HA)
• 注意點
• 參考

 

---

回到頂部

前言

　　使用集羣是網站解決高併發、海量數據問題的經常使用手段。當一臺服務器的處理能力、存儲空間不足時，不要企圖去換更強大的服務器，對大型網站而言，無論多麼強大的服務器，都知足不了網站持續增加的業務需求。這種狀況下，更恰當的作法是增長一臺服務器分擔原有服務器的訪問及存儲壓力。經過負載均衡調度服務器，未來自瀏覽器的訪問請求分發到應用服務器集羣中的任何一臺服務器上，若是有更多的用戶，就在集羣中加入更多的應用服務器，使應用服務器的負載壓力再也不成爲整個網站的瓶頸。

摘自《大型網站技術架構_核心原理與案例分析》

　　另外，你們能夠看個人這兩篇博客：LVS + keepalived + nginx + tomcat 實現主從熱備 + 負載均衡 和 主從熱備+負載均衡（LVS + keepalived），對比下這三篇博客，其中區別及各自的優缺點須要你們好好體會。

回到頂部

環境準備

　　192.168.0.221：nginx + keepalived   master

　　192.168.0.222：nginx + keepalived   backup

　　192.168.0.223：tomcat

　　192.168.0.224：tomcat

　　虛擬ip(VIP):192.168.0.200，對外提供服務的ip，也可稱做浮動ip

　　各個組件之間的關係圖以下：

回到頂部

tomcat作應用服務器

　　tomcat的安裝不在本博客範圍以內，具體可參考virtualBox安裝centos，並搭建tomcat，tomcat的webapps下記得放本身的應用，個人是myWeb，若是你們也用個人myWeb，那麼index.jsp中的ip須要換成本身的

　　將192.168.0.22三、192.168.0.224上的tomcat啓動起來，tomcat的路徑可能和個人不一致，須要寫成本身的

　　# cd /usr/local/tomcat7/bin

　　# ./startup.sh

　　訪問myWeb以下

　　

回到頂部

nginx作負載均衡

　　nginx的安裝，本文就不講述了，具體可參考LVS + keepalived + nginx + tomcat 實現主從熱備 + 負載均衡

　　nginx.conf內容以下

user  root;            #運行用戶
worker_processes  1;        #啓動進程,一般設置成和cpu的數量相等

#全局錯誤日誌及PID文件
error_log  /usr/local/nginx/logs/error.log;
error_log  /usr/local/nginx/logs/error.log  notice;
error_log  /usr/local/nginx/logs/error.log  info;
pid        /usr/local/nginx/logs/nginx.pid;

# 工做模式及鏈接數上線
events 
{
    use epoll;            #epoll是多路複用IO(I/O Multiplexing)中的一種方式,可是僅用於linux2.6以上內核,能夠大大提升nginx的性能

    worker_connections  1024;    #單個後臺worker process進程的最大併發連接數
}

#設定http服務器,利用它的反向代理功能提供負載均衡支持
http 
{
    include       mime.types;
    default_type  application/octet-stream;

    #設定請求緩衝
    server_names_hash_bucket_size  128;
    client_header_buffer_size   32K;
    large_client_header_buffers  4 32k;
    # client_max_body_size   8m;
    
    #sendfile 指令指定 nginx 是否調用 sendfile 函數（zero copy 方式）來輸出文件，對於普通應用，
    #必須設爲 on,若是用來進行下載等應用磁盤IO重負載應用，可設置爲 off，以平衡磁盤與網絡I/O處理速度，下降系統的uptime.
    sendfile        on;
    tcp_nopush     on;
    tcp_nodelay    on;

    #鏈接超時時間
    keepalive_timeout  65;

    #開啓gzip壓縮，下降傳輸流量
    gzip  on;
    gzip_min_length    1k;
    gzip_buffers    4 16k;
    gzip_http_version  1.1;
    gzip_comp_level  2;
    gzip_types  text/plain application/x-javascript text/css  application/xml;
    gzip_vary on;

    #添加tomcat列表，真實應用服務器都放在這
    upstream tomcat_pool 
    {
       #server tomcat地址:端口號 weight表示權值，權值越大，被分配的概率越大;
　　　　server 192.168.0.223:8080 weight=4 max_fails=2 fail_timeout=30s;
    　 server 192.168.0.224:8080 weight=4 max_fails=2 fail_timeout=30s;
    }

    server 
    {
        listen       80;        #監聽端口    
        server_name  localhost;
    
    #默認請求設置
    location / {
        proxy_pass http://tomcat_pool;    #轉向tomcat處理
    }
    
    #全部的jsp頁面均由tomcat處理
    location ~ \.(jsp|jspx|dp)?$
    {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://tomcat_pool;    #轉向tomcat處理
    }
    
    #全部的靜態文件直接讀取不通過tomcat,nginx本身處理
    location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$ 
    { 
        expires  30d;
    }
    location ~ .*\.(js|css)?$
    {
       expires  1h;
    }

    #定義錯誤提示頁面
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
}

　　主從nginx的配置文件徹底同樣，nginx.conf配置可複雜可簡單，你們根據本身的狀況自行配置，照搬上述配置也是能夠的。

　　配置好後，啓動nginx，路徑要寫本身的

　　# cd /usr/local/nginx/sbin

　　# ./nginx

　　訪問nginx，效果以下：

　　兩臺nginx服務器服務正常，此時是沒有主從之分的，二者級別同樣高，當配置keepalived以後就有了主從之分了。

回到頂部

keepalived實現nginx高可用(HA)

　　keepalived的安裝本文就不講述了，具體可參考主從熱備+負載均衡（LVS + keepalived）

　　keepalived做用其實在第一張圖中已經有所體現，主要起到兩個做用：實現VIP到本地ip的映射； 以及檢測nginx狀態。

　　master上的keepalived.conf內容以下：

global_defs {
    notification_email {
        997914490@qq.com
    }
    notification_email_from sns-lvs@gmail.com
    smtp_server smtp.hysec.com
    smtp_connection_timeout 30
    router_id nginx_master        # 設置nginx master的id，在一個網絡應該是惟一的
}
vrrp_script chk_http_port {
    script "/usr/local/src/check_nginx_pid.sh"    #最後手動執行下此腳本，以確保此腳本可以正常執行
    interval 2                          #（檢測腳本執行的間隔，單位是秒）
    weight 2
}
vrrp_instance VI_1 {
    state MASTER            # 指定keepalived的角色，MASTER爲主，BACKUP爲備
    interface eth0            # 當前進行vrrp通信的網絡接口卡(當前centos的網卡)
    virtual_router_id 66        # 虛擬路由編號，主從要一直
    priority 100            # 優先級，數值越大，獲取處理請求的優先級越高
    advert_int 1            # 檢查間隔，默認爲1s(vrrp組播週期秒數)
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
    chk_http_port            #（調用檢測腳本）
    }
    virtual_ipaddress {
        192.168.0.200            # 定義虛擬ip(VIP)，可多設，每行一個
    }
}

　　backup上的keepalived.conf內容以下：

global_defs {
    notification_email {
        997914490@qq.com
    }
    notification_email_from sns-lvs@gmail.com
    smtp_server smtp.hysec.com
    smtp_connection_timeout 30
    router_id nginx_backup              # 設置nginx backup的id，在一個網絡應該是惟一的
}
vrrp_script chk_http_port {
    script "/usr/local/src/check_nginx_pid.sh"
    interval 2                          #（檢測腳本執行的間隔）
    weight 2
}
vrrp_instance VI_1 {
    state BACKUP                        # 指定keepalived的角色，MASTER爲主，BACKUP爲備
    interface eth0                      # 當前進行vrrp通信的網絡接口卡(當前centos的網卡)
    virtual_router_id 66                # 虛擬路由編號，主從要一直
    priority 99                         # 優先級，數值越大，獲取處理請求的優先級越高
    advert_int 1                        # 檢查間隔，默認爲1s(vrrp組播週期秒數)
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        chk_http_port                   #（調用檢測腳本）
    }
    virtual_ipaddress {
        192.168.0.200                   # 定義虛擬ip(VIP)，可多設，每行一個
    }
}

　　nginx檢測腳本check_nginx_pid.sh內容以下：

#!/bin/bash
A=`ps -C nginx --no-header |wc -l`        
if [ $A -eq 0 ];then                            
      /usr/local/nginx/sbin/nginx                #重啓nginx
      if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then    #nginx重啓失敗，則停掉keepalived服務，進行VIP轉移
              killall keepalived                    
      fi
fi

　　啓動keepalived

　　# service keepalived start

　　訪問VIP，效果以下：

　　咱們來看下keepalived的日誌信息

　　　　master（192.168.0.221）：

　　　　

　　　　backup（192.168.0.222）：

　　　　

　　　　當咱們把master上的keepalived停掉（模擬宕機），再來看下keepalived日誌

　　　　原master（192.168.0.221）：

　　　　

　　　　原backup（192.168.0.222）：

　　　　

　　　　經過VIP能夠正常訪問服務，前端請求感覺不到後端nginx的切換；從新喚醒原master（192.168.0.221）的測試這裏就不進行了，你們自行測試

回到頂部

注意點

　　一、執行腳本時報錯：/bin/sh^M: bad interpreter: 沒有那個文件或目錄 

　　　　由於操做系統是windows，我在windows下編輯的腳本，因此有可能有不可見字符。腳本文件是DOS格式的, 即每一行的行尾以回車符和換行符來標識, 其ASCII碼分別是0x0D, 0x0A。能夠有不少種辦法看這個文件是DOS格式的仍是UNIX格式的, 仍是MAC格式的

　　　　解決方法：

　　　　　　vim filename

　　　　　　:set ff? #能夠看到dos或unix的字樣. 若是的確是dos格式的。

　　　　　　:set ff=unix #把它強制爲unix格式的, 而後存盤退出。

　　　　　　再次運行腳本。

　　　　從windows編輯文件再拷貝到linux時要特別注意，另外，腳本須要賦予可執行權限才能執行，可執行文件的一種直觀表現就是文件自己呈綠色。

　　二、負載均衡最好進行多瀏覽器測試，有些瀏覽器會緩存，會產生沒有負載均衡的效果，例如我此次測試中谷歌瀏覽器就出現了相似的狀況(還沒搞清楚是不是緩存的緣由)，火狐，360、IE瀏覽器都是正常的負載均衡效果。

　　三、請求走向

　　　　訪問虛擬IP(VIP)，keepalived將請求映射到本地nginx，nginx將請求轉發至tomcat，例如：http://192.168.0.200/myWeb/，被映射成http://192.168.0.221/myWeb/，端口是80，而221上nginx的端口正好是80；映射到nginx上後，nginx再進行請求的轉發。

　　　　keepalived服務器的ip狀況

　　　　

　　　　VIP總會在keepalived服務器中的某一臺上，也只會在其中的某一臺上；VIP綁定的服務器上的nginx就是master，當VIP所在的服務器宕機了，keepalived會將VIP轉移到backup上，並將backup提高爲master。

　　四、VIP也稱浮動ip，是公網ip，與域名進行映射，對外提供服務； 其餘ip通常而言都是內網ip， 外部是直接訪問不了的

 

 

引自：https://www.cnblogs.com/youzhibing/p/7327342.html