nginx高可用負載均衡配置

Nginx+keepalived 實現高可用負載均衡集羣

1、Nginx簡介

Nginx ("engine x") 是一個高性能HTTP和反向代理 服務器，也是一個 IMAP/POP3/SMTP 服務器。 Nginx 是由 Igor Sysoev 爲俄羅斯訪問量第二的 Rambler.ru 站點開發的，第一個公開版本0.1.0發佈於2004年10月4日。其將源代碼以類BSD許可證的形式發佈，因它的穩定性、豐富的功能集、示例配置文件和低系統資源的消耗而聞名。2011年6月1日，nginx 1.0.4發佈78。

Nginx是一款輕量級的Web 服務器/反向代理服務器及電子郵件（IMAP/POP3）代理服務器，並在一個BSD-like 協議下發行。由俄羅斯的程序設計師Igor Sysoev所開發，供俄國大型的入口網站及搜索引擎Rambler（俄文：Рамблер）使用。其特色是佔有內存少，併發能力強，事實上nginx的併發能力確實在同類型的網頁服務器中表現較好，中國大陸使用nginx網站用戶有：百度、新浪、網易、騰訊等。

2、Keepalived簡介

Keepalived的做用是檢測web服務器的狀態，若是有一臺web服務器死機，或工做出現故障，Keepalived將檢測到，並將有故障的web服務器從系統中剔除，當web服務器工做正常後Keepalived自動將web服務器加入到服務器羣中，這些工做所有自動完成，不須要人工干涉，須要人工作的只是修復故障的web服務器。

其主要原理是使用VRRP技術，VRRP狀態工做機制爲，雙方節點都啓動以後，要實現狀態轉換工做，初始狀態都是backup然後向對方發送通告以及本身的優先級信息，若是收到shutdown信息則轉換爲intalize狀態，若是收到startup並且優先級爲最大，意味着其爲master

而對另外的節點來說收到的startup優先級小於255，那麼就意味着其角色爲backup

若是某通告的時候，backup發現比本身優先級比較低，那麼直接將master角色搶回來。

 

3、Nginx安裝

安裝方式有2種，編譯安裝（一般選用），使用安裝包安裝（rpm包，dpkg包）。

使用安裝包，安裝適合需求不過高的情景，不須要特別的訂製。

dpkg包方式安裝

Ubuntu系統，  apt-get install nginx

若是沒有報錯，即爲安裝成功，能夠查看是否生成了 /etc/nginx/nginx.conf文件。

4、Nginx配置文件

 

#定義Nginx運行的用戶和用戶組
user www www;

#nginx進程數，建議設置爲等於CPU總核心數。
worker_processes 8;

#全局錯誤日誌定義類型，[ debug | info | notice | warn | error | crit ]
error_log /var/log/nginx/error.log info;

#進程文件
pid /var/run/nginx.pid;

#一個nginx進程打開的最多文件描述符數目，理論值應該是最多打開文件數（系統的值ulimit -n）與nginx進程數相除，可是nginx分配請求並不均勻，因此建議與ulimit -n的值保持一致。
worker_rlimit_nofile 65535;

#工做模式與鏈接數上限
events
{
#參考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本內核中的高性能網絡I/O模型，若是跑在FreeBSD上面，就用kqueue模型。
use epoll;
#單個進程最大鏈接數（最大鏈接數=鏈接數*進程數）
worker_connections 65535;
}

#設定http服務器
http
{
include mime.types; #文件擴展名與文件類型映射表
default_type application/octet-stream; #默認文件類型
#charset utf-8; #默認編碼
server_names_hash_bucket_size 128; #服務器名字的hash表大小
client_header_buffer_size 32k; #上傳文件大小限制
large_client_header_buffers 4 64k; #設定請求緩
client_max_body_size 8m; #設定請求緩
sendfile on; #開啓高效文件傳輸模式，sendfile指令指定nginx是否調用sendfile函數來輸出文件，對於普通應用設爲 on，若是用來進行下載等應用磁盤IO重負載應用，可設置爲off，以平衡磁盤與網絡I/O處理速度，下降系統的負載。注意：若是圖片顯示不正常把這個改爲off。
autoindex on; #開啓目錄列表訪問，合適下載服務器，默認關閉。
tcp_nopush on; #防止網絡阻塞
tcp_nodelay on; #防止網絡阻塞
keepalive_timeout 120; #長鏈接超時時間，單位是秒

#FastCGI相關參數是爲了改善網站的性能：減小資源佔用，提升訪問速度。下面參數看字面意思都能理解。
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;

#gzip模塊設置
gzip on; #開啓gzip壓縮輸出
gzip_min_length 1k; #最小壓縮文件大小
gzip_buffers 4 16k; #壓縮緩衝區
gzip_http_version 1.0; #壓縮版本（默認1.1，前端若是是squid2.5請使用1.0）
gzip_comp_level 2; #壓縮等級
gzip_types text/plain application/x-javascript text/css application/xml;
#壓縮類型，默認就已經包含text/html，因此下面就不用再寫了，寫上去也不會有問題，可是會有一個warn。
gzip_vary on;
#limit_zone crawler $binary_remote_addr 10m; #開啓限制IP鏈接數的時候須要使用

upstream blog.ha97.com {
#upstream的負載均衡，weight是權重，能夠根據機器配置定義權重。weigth參數表示權值，權值越高被分配到的概率越大。
server 192.168.80.121:80 weight=3;
server 192.168.80.122:80 weight=2;
server 192.168.80.123:80 weight=3;
}

#虛擬主機的配置
server
{
#監聽端口
listen 80;
#域名能夠有多個，用空格隔開
server_name www.ha97.com ha97.com;
index index.html index.htm index.php;
root /data/www/ha97;
location ~ .*\.(php|php5)?$
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
}
#圖片緩存時間設置
location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$
{
expires 10d;
}
#JS和CSS緩存時間設置
location ~ .*\.(js|css)?$
{
expires 1h;
}
#日誌格式設定
log_format access '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $http_x_forwarded_for';
#定義本虛擬主機的訪問日誌
access_log /var/log/nginx/ha97access.log access;

#對 "/" 啓用反向代理
location / {
proxy_pass http://127.0.0.1:88;
proxy_redirect off;
proxy_set_header X-Real-IP $remote_addr;
#後端的Web服務器能夠經過X-Forwarded-For獲取用戶真實IP
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#如下是一些反向代理的配置，可選。
proxy_set_header Host $host;
client_max_body_size 10m; #容許客戶端請求的最大單文件字節數
client_body_buffer_size 128k; #緩衝區代理緩衝用戶端請求的最大字節數，
proxy_connect_timeout 90; #nginx跟後端服務器鏈接超時時間(代理鏈接超時)
proxy_send_timeout 90; #後端服務器數據回傳時間(代理髮送超時)
proxy_read_timeout 90; #鏈接成功後，後端服務器響應時間(代理接收超時)
proxy_buffer_size 4k; #設置代理服務器（nginx）保存用戶頭信息的緩衝區大小
proxy_buffers 4 32k; #proxy_buffers緩衝區，網頁平均在32k如下的設置
proxy_busy_buffers_size 64k; #高負荷下緩衝大小（proxy_buffers*2）
proxy_temp_file_write_size 64k;
#設定緩存文件夾大小，大於這個值，將從upstream服務器傳
}

#設定查看Nginx狀態的地址
location /NginxStatus {
stub_status on;
access_log on;
auth_basic "NginxStatus";
auth_basic_user_file conf/htpasswd;
#htpasswd文件的內容能夠用apache提供的htpasswd工具來產生。
}

#本地動靜分離反向代理配置
#全部jsp的頁面均交由tomcat或resin處理
location ~ .(jsp|jspx|do)?$ {
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://127.0.0.1:8080;
}
#全部靜態文件由nginx直接讀取不通過tomcat或resin
location ~ .*.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
{ expires 15d; }
location ~ .*.(js|css)?$
{ expires 1h; }
}
}

 

5、配置負載均衡配置項

 在/etc/nginx/nginx.conf 中，注意有這麼一行命令：

Include  /etc/nginx/conf.d/*.conf

 咱們能夠在/etc/nginx/conf.d/目錄下，能夠自定義配置文件，配置負載均衡，咱們須要定義upstream,項。以下，咱們編輯/etc/nginx/conf.d/proxy.conf,

實現目標：經過訪問本機的8080端口，將請求發送到後端主機上去，採用輪休調度。

--------------------------------------------------------------------------------------------------------------------

 

upstream backend{

        server 192.168.0.33:8080;  #後端web的IP:端

        server 192.168.0.34:8080;

        }

 

        server {

                listen 8080;       #本機監聽端口，經過訪問該端口才能實現向後端web發送請求

                location / {       #/表示匹配的URL路徑規則，/表示匹配任何規則，能匹配到http://*/， /login 只會匹配到http://login/*/

                proxy_pass  http://backend;  #表示轉發後端web的url

                }

 

        }

 

添上以上配置文件，重啓服務就能夠實現輪詢調度後端web服務器，

4、keepalived安裝

一、去官網下載壓縮包*.tar.gz   http://www.keepalived.org/download.html;

二、編譯需求環境：libssl-dev   openssllibpopt-dev;

三、下載版本爲keepalived-1.2.7.tar.gz ;

四、解壓：tar zxvf keepalived-1.2.7.tar.gz;

五、編譯：# cd keepalived-1.2.7;

# ./configure --prefix=/usr/local;

# make && make install;

六、編譯完成後，生產主要文件及位置以下：

/usr/sbin/目錄下keepalived 可執行程序文件;

/usr/local/etc/keepalived/目錄下  keepalived.conf文件和samples目錄; 能夠將keepalived.conf 複製到/etc/keepalived.conf.;

/usr/local/etc/rc.d/init.d/目錄下keepalived 能夠看成啓動腳本，複製到/etc/init.d/下;

7、因爲是編譯安裝，因此還要修改下啓動腳本里面的用到的一些文件的路徑位置，不   然默承認能會出錯，因爲是ubunut系統，和rehat系列不一樣，function文件的位置不一樣，故而須要修改，另外還要修改一處啓動參數，以下代碼：

5、Keepalived 配置文件

 

! Configuration File for keepalived

 

global_defs {

   notification_email {               //定義郵件通知機制，暫時不使用

     acassen@firewall.loc

     failover@firewall.loc

     sysadmin@firewall.loc

   }

   notification_email_from Alexandre.Cassen@firewall.loc

   smtp_server 192.168.0.32

   smtp_connect_timeout 30

   router_id LVS_DEVEL

}

 

--------------------------------------------------------------------------------------

 vrrp_script chk_nginx {

        script "/etc/keepalived/chk_nginx.sh"//定義腳本塊名，chk_nginx, 定義腳本路徑位置，

        interval 2

        weight 2

 }

------------------------------------------------------------------------------------------

 

vrrp_instance VI_1 {

    state BACKUP          //定義主從狀態

    interface eth0           //定義網絡接口

    virtual_router_id 60      //定義該服務的ID號，主從應該不同

    priority 99  //定義優先級，0-255，數值越大，優先級越高，MASTER的優先級必定比BACKUP的優先級高。

    advert_int 1            //通告

    authentication {                 //認證塊

        auth_type PASS

        auth_pass 1111

    }

-----------------------------------------------------------------------------------------------------

  track_script {

       chk_nginx             //引用定義的腳本塊 chk_nginx

  }

--------------------------------------------------------------------------------------------------------

    virtual_ipaddress {         //定義VIP，    

        192.168.0.30

    }

}

 

 

Keepalived 狀態監測腳本，目的：可以實現實時監控nginx服務，發現nginx服務down掉，嘗試重啓nginx，若是啓動失敗，則keepalived也中止服務。而後VIP會自動切換到BACKUP節點繼續工做。

chk_nginx.sh

#！/bin/bash

#Author Sun Bin

#Date 2016.1.26

ng_status=$(ps -C nginx --no-heading|wc -l)

if [ ${ng_status} -eq 0 ]; then

    /etc/init.d/nginx start

    status2=$(ps -C nginx --no-heading}wc -l)

    if [ ${status2} -eq 0 ]; then

        /etc/init.d/keepalived stop

    fi

else

    status3=$(ps -C keepalived --no-heading|wc -l)

    if [ ${status3} -eq 0 ]; then

        /etc/init.d/keepalived start

    fi

fi

 

注意：啓動服務時，只需啓動和關閉keepalived服務便可，由於nginx服務是有keepalived監控的。