Nginx反向代理，負載均衡，redis session共享，keepalived高可用

使用的資源：

nginx主服務器一臺，nginx備服務器一臺，使用keepalived進行宕機切換。

tomcat服務器兩臺，由nginx進行反向代理和負載均衡，此處可搭建服務器集羣。

redis服務器一臺，用於session的分離共享。

nginx主服務器：192.168.50.133

nginx備服務器：192.168.50.135

tomcat項目服務器1:192.168.50.137

tomcat項目服務器2:192.168.50.139

redis服務器：192.168.50.140
 

注意訪問時須要配置防火牆規則，或者關閉防火牆

首先進行的通用安裝：


總的須要模擬五臺服務器，使用vmware，所有使用centos6.5 64位，五臺服務器所有安裝jdk，我使用的是jdk1.8.


一、安裝VMware虛擬機，安裝linux系統，此處使用centOS6.5 64位，安裝linux命令行工具，上傳文件工具，此處使用SecureCRT，SecureFX 。安裝教程再也不贅述，百度一大堆..........


這步有問題請使勁點：www.baidu.com

二、在linux上安裝jdk:


安裝jdk：卸載openjdk版本，上傳解壓jdk，配置環境變量----參考：http://jingyan.baidu.com/article/ab0b56308966acc15afa7d18.html


1、Nginx反向代理與負載均衡：

架構圖：

此時須要用到三臺服務器，一臺nginx服務器，兩臺正式部署項目的服務器：選擇的是192.168.50.133主nginx和192.168.50.137,192.168.50.139兩臺tomcat服務器

首先在兩臺服務器上安裝tomcat：這個也是簡單，很少說


安裝tomcat：上傳解壓便可使用，bin目錄下 startup.sh啓動，shutdown.sh關閉

配置防火牆端口：vim /etc/sysconfig/iptables 編輯，開放8080端口，80端口等一些經常使用端口，固然後邊有用到一些端口都是須要配置開放的，不建議關閉防火牆

編輯好後 service iptables restart 從新加載防火牆配置

若是是本身測試嫌配置麻煩，關閉防火牆： service iptables stop 重啓後防火牆打開，即在這次開機狀態下有效，徹底關閉再使用 chkconfig iptables off ,即會在重啓後也關閉防火牆，注意有時候服務都起了但訪問出錯，可能就是防火牆問題哦

啓動tomcat訪問：192.168.50.137:8080，192.168.50.139:8080，打開tomcat首頁即成功。


而後編寫測試項目，部署到兩臺tomcat上，eclipse新建web項目，項目名爲testproject，在webapp下新建一個jsp頁面爲index.jsp,添加以下內容

將項目中web.xml中的訪問順序<welcome-file>index.jsp</welcome-file>上移到第一個訪問


而後右鍵導出爲war包，testproject.war，將該war包上傳到兩臺服務器的tomcat的webapps中

而後修改tomcat的server.xml文件，在tomcat conf目錄中：可使用notepad++的插件NppFTP直接連上linux，而後使用notepad++修改文件哦，保存記得使用UTF-8無BOM格式，具體去百度吧，哈哈


修改Engine標籤中，添加jvmRoute，用於標識nginx訪問的是哪一個服務器tomcat，137服務器標識爲137Server1，139服務器標識爲139Server2

在兩臺tomcat的server.xml文件，Host標籤中添加：<Context path="" docBase="testproject"/>，path標識訪問路徑，docBase爲項目名，表示訪問項目

此時，從新啓動tomcat，訪問192.168.50.137:8080，192.168.50.139:8080,顯示index.jsp內容：兩臺服務器訪問顯示以下

至此，兩臺tomcat服務器搭建完成。

 

在nginx主機192.168.50.133上安裝nginx：


先使用yum命令安裝gcc，安裝pcre，zlib，openssl：

在/usr/local/目錄下新建nginx-src目錄，將nginx-1.8.0.tar.gz放到此處，解壓

進入解壓後目錄

依次執行命令：

此時nginx安裝完畢，安裝目錄是/usr/local/nginx，nginx默認佔用80端口

其中，sbin目錄爲nginx執行命令，conf目錄下的nginx.conf爲默認加載的配置文件

啓動nginx：

關閉nginx：

啓動nginx後訪問192.168.50.133:80便可訪問nginx：顯示nginx歡迎頁

至此，nginx安裝完畢。

三、反向代理與負載均衡配置


現有兩臺服務器，一臺爲192.168.50.137，一臺爲192.168.50.139，服務器上各有一臺tomcat，端口均爲8080，在192.168.50.133上有nginx，通過配置nginx，當訪問192.168.50.133:80時，便可訪問192.168.50.137:8080，192.168.50.139:8080中隨機一臺，此時192.168.50.133:80被nginx監聽，當有請求時，代理到192.168.50.137:8080，192.168.50.139:8080隨機一臺便可，即爲nginx反向代理功能，同時此時能夠經過nginx將請求進行轉發，保證了一個入口，將全部請求轉發到兩臺服務器上也減輕了任何一臺的負載壓力，當有大量請求時，能夠搭建大量服務器，在入口代理服務器上使用nginx進行轉發，便是負載均衡功能。

 

 配置便是配置nginx安裝目錄中conf目錄下的nginx.conf文件便可：具體配置以下，重點是紅色部分

啓動兩臺tomcat，從新啓動nginx：


訪問192.168.50.133:80將會隨機訪問192.168.50.137:8080和192.168.50.139:8080其中一臺。（問題：每次刷新nginx服務器地址sessionid會變，session不能共享。）

nginx輪詢策略：


nginx負載均衡到多臺服務器上時，默認採用輪詢策略：


常見策略：


一、輪詢


每一個請求按時間順序逐一分配到不一樣的後端服務器，若是後端服務器down掉，能自動剔除。


二、weight


指定輪詢概率，weight和訪問比率成正比，用於後端服務器性能不均的狀況，數字越大命中率越高。


例如：輪詢概率是2:1


    upstream bakend {
    server 192.168.0.14 weight=2;
    server 192.168.0.15 weight=1;
    }


二、ip_hash


每一個請求按訪問ip的hash結果分配，這樣每一個訪客固定訪問一個後端服務器，能夠解決session的問題。


例如：


    upstream bakend {
    ip_hash;
    server 192.168.0.14:88;
    server 192.168.0.15:80;
    }


其餘策略能夠自行查詢學習,nginx還有不少其餘可配置項，靜態資源緩存，重定向等，想深刻的童鞋請自行學習

nginx配置詳解：http://blog.csdn.net/tjcyjd/article/details/50695922

 

實際問題：雖然解決了，可是不是很理解，記錄一下


其中192.168.50.133:80是有外網映射的，外網55.125.55.55:5555映射到192.168.50.133:80上，此時使用55.125.55.55:5555訪問，會映射到192.168.50.133:80上，而後會被轉發到192.168.50.137:8080或192.168.50.139:8080，可是此時卻出現圖片，js，css等靜態文件沒法訪問的狀況，經過兩種方法解決。


<1>.映射非80端口


讓55.125.55.55:5555映射192.168.50.133的非80端口，例如55.125.55.55:5555映射192.168.50.133:5555，而後再在nginx配置文件中配置以下，注意紅色加大部分：這地方不理解

此時訪問55.125.55.55:5555，映射到192.168.50.133:5555上，而後轉發到192.168.50.137:8080或192.168.50.139:8080上，此時靜態文件均能訪問。

 

 <2>.使用域名在外網服務器上使用nginx進行轉發

將55.125.55.55綁定域名爲test.baidubaidu.com，此時在55.125.55.55服務器上使用nginx,

以上即nginx反向代理與負載均衡介紹，通過這次學習，發現nginx確實是博大精深，一個配置文件搞得我不要不要的。。。

2、session共享問題：


因爲nginx是隨機分配請求，假設一個用戶登陸時訪問網站登陸時被分配到192.168.50.137:8080上，而後進行了登陸操做，此時該服務器上就會有該用戶登陸的session信息，而後登錄後重定向到網站首頁或我的中心時，此時若是被分配到192.168.50.139:8080上，那麼這臺服務器上沒有該用戶session信息，因而又會變成未登陸狀態，因此因爲nginx的負載均衡會致使session共享的問題。


解決方法：


一、nginx提供了ip_hash策略，能夠保持用戶ip進行hash值計算固定分配到某臺服務器上，而後只要是該ip則會保持分配到該服務器上，保證用戶訪問的是同一臺服務器，那麼session問題就不存在了。這也是解決session共享的一種方式，也稱爲黏性session。可是假設一臺tomcat服務器掛了的話，那麼session也會丟失。因此比較好的方案是抽取session。


二、session存在memcache或者redis中，以這種方式來同步session，把session抽取出來，放到內存級數據庫裏面，解決了session共享問題，同時讀取速度也是很是之快。

本例中：

Redis解決session共享：


在redis服務器192.168.50.140上搭建redis，redis默認端口爲6379

Redis搭建：


redis依賴gcc，先安裝：

yum install -y gcc-c++

下載redis，我使用的是redis-3.2.1.tar.gz，上傳至linux /usr/local/redis-src/中，解壓

進入解壓後目錄redis-3.2.1，執行make命令進行編譯


安裝到目錄/usr/local/redis


執行：

make PREFIX=/usr/local/redis install

安裝完成以後將redis配置文件拷貝到安裝目錄下，redis.conf是redis的配置文件，redis.conf在redis源碼目錄,port默認6379。


執行命令：

cp /usr/local/redis-src/redis-3.2.1/redis.conf /usr/local/redis/

在redis安裝目錄啓動和關閉redis：

啓動：

這種啓動方式叫作前端啓動，必須保持在當前窗口，若是ctrl + c 退出，那麼redis也就退出了，不建議使用


那麼後端啓動：


首先修改redis.conf中daemonize的值，打開能夠看到默認是no，修改成daemonize yes，啓動便可。也能夠在該配置文件中修改redis默認端口6379爲其餘值。

關閉redis：

./bin/redis-cli shutdown

至此，redis服務器搭建完成。


tomcat與redis集成實現session共享：

環境爲tomcat7 + jdk1.6的話：


在全部須要共享session的服務器的tomcat中目錄下：


lib目錄中添加如下三個jar包，注意版本最好一致，否則極容易出現錯誤，下邊的測試是可用的：

 

conf目錄中content.xml中加入：配置redis服務

環境爲tomcat7 + jdk1.7或1.8的話：


在全部須要共享session的服務器的tomcat中目錄下：


lib目錄中添加如下三個jar包，測試經過：

conf目錄中content.xml中加入：配置redis服務

根據我這測試，是jkd1.8+tomcat7，在137和139兩臺tomcat中加入jar包且進行如上配置：

上傳jar包

修改content.xml

啓動redis服務，從新啓動全部tomcat，啓動nginx，刷新nginx頁面,兩臺tomcat頁面能夠看到sessionid值不變，關閉某臺tomcat，nginx中sessionid不變，說明session是共享的。

問題：


有可能此時訪問會報錯，redis沒法訪問，這是因爲redis的安全機制，默認只有127.0.0.1才能訪問，在redis.conf中能夠找到bind 127.0.0.1，你能夠將此ip改成訪問者ip，

若是有多個訪問者，也能夠把bind 127.0.0.1註釋掉，而後在配置文件中找到protected-mode，修改protected-mode yes改成protected-mode no 關閉redis保護模式便可

詳細能夠參考這：http://www.cnblogs.com/liusxg/p/5712493.html

 

通過大牛指點：添加兩個注意點：


一、按照如上配置,使用redis數據庫,放入session中的對象必需要實現java.io.Serializable接口，使用memcache的能夠不用實現Serializable接口


緣由是:由於tomcat裏使用的將session放置redis使用的工具類,是使用的jdk序列化模式存儲的，這一點也是很容易理解的，session.setAttribute(String key, Object value)，存儲Object類型


object放入redis中又要能取出來，只能是序列化進行存儲了，而後取出的時候進行反序列化。


因此咱們在session中存儲的任何對象，都必須實現序列化接口。


二、按照如上配置,使用redis作session存儲空間時,web應用的session-time的時間單位會變成[秒],而不是本來的[分]

緣由是:由於tomcat裏使用的將session放置redis使用的工具類,在存儲時爲對tomcat容器時間作轉換，

在redis中設置過時時間是使用秒做爲單位的，有個命令叫expire能夠設置redis鍵值過時時間，因此在context.xml配置文件中咱們須要制定session過時時間（默認是60秒，配成1800即30分鐘），這一點很重要。

 

請注意！！！！


context.xml配置說明：

3、keepalived高可用：


架構圖：



上圖畫的不對稱好難看，將就下吧

根據上邊一路走來，已是搭好了從nginx主到服務器的這條線的，那麼同理，使用nginx備機192.168.50.135上再搭建nginx，也是代理192.168.137和139兩臺服務器。搞了一次以後也就簡單了


在192.168.50.135上安裝nginx，配置nginx配置便可，再也不贅述，nginx備機配置以下：

配置和上邊的是同樣的，只不過監聽的地方的ip了而已



 

那麼如今就是至關於有兩套nginx了，代理的服務器是同樣的，爲何要搞兩套？

假設只有一臺nginx的話，這個nginx服務器掛了。那怎麼辦？


因此須要一臺備份nginx。


正常狀況下，主nginx做爲反向代理服務器便可，假設nginx服務器掛了的話，可以當即切換到備份機上，保證用戶能夠訪問，而後運維人員把主nginx服務器故障修好以後，又可以自動切換到主nginx提供服務。經過keepalived來監測兩臺服務器，正常狀況時，將nginx主服務器ip（192.168.50.133）綁定到keepalived定義的一個虛擬ip（我設置爲192.168.50.88）上，經過這個虛擬IP能夠訪問nginx，而後備機（192.168.50.135）啥事不幹，就是每隔一小段時間（設置爲1秒）keepalived會告訴備機，你不用管，我還活着呢，若是忽然主機死了，那麼就會超過一秒備機沒有收到主機或者的消息，那麼備機立刻接管主機，keeplived將虛擬ip綁定到備機身上，網站繼續提供服務。


忽然主機又復活了（運維人員排除故障了），那麼備機又將收到主機的活着的消息，因而將管理權交回給主機，虛擬ip又綁到主機上，大概就是這麼個過程，我的理解。


 

 先在兩臺nginx服務器（主備）上都裝上keepalived：

 下載：這裏使用rpm安裝，是區分32,64位的，不要搞錯了哦

keepalived-1.2.7-3.el6.x86_64.rpm


openssl-1.0.1e-30.el6_6.4.x86_64.rpm


要求必須是openssl-1.0.1e或以上才行、若是版本已經符合（由於安裝nginx時已經安裝openssl，使用yum安裝應該是符合的）、不用再安裝openssl，使用 rpm -q openssl 查看當前openssl版本，我這已是1.0.1e 48的，因此就不安裝了



將兩個rpm安裝包上傳到兩臺nginx服務器，進入上傳到的目錄，運行如下命令安裝:--nodeps是忽略依賴包，固然最好是把依賴包裝上，去掉--nodeps能夠看到錯誤，須要哪些依賴包


若是須要安裝openssl


 安裝keepalived：


安裝完畢後再/etc/keepalived/目錄下有個文件 keepalived.conf便是本臺服務器keepalived的核心配置文件了：


重點：keepalived配置，配置文件上邊部分按照下面的配置就好了，配置文件後面的內容能夠不用管，尚未去研究其餘部分


先配置主機192.168.50.133的keepalived，按下邊進行配置



 

備機192.168.50.135的keepalived配置：


備機配置注意的地方：須要修改state爲BACKUP , priority比MASTER低，virtual_router_id和master的值一致




 

醬紫，keepalived就配置完成了。


keeplived啓動關閉命令：



啓動兩臺nginx，啓動主機keepalived，啓動備機keepalived服務。

這時，nginx主機在提供服務，備機是閒着的，虛擬ip是192.168.50.88，在主機和備機上使用命令



 能夠發現：


主機：能夠看到，192.168.50.133 帶有虛擬ip192.168.50.88，在瀏覽器中輸入192.168.50.88，便可訪問到主nginx192.168.50.133.而後轉發到tomcat服務器上


 

瀏覽器訪問虛擬ip：192.168.50.88，效果以下

 

 

備機：ip addr命令執行：能夠看到，備機nginx沒有綁定虛擬ip


 

 以上是初始狀態下的狀況，也是正常服務的狀況。

 

如今測試高可用，假設主機nginx服務器掛了，模擬爲關閉nginx主機或者將keepalived服務中止，那麼主機上keepalived死了就沒辦法告訴備機本身活着，而備機超過1秒沒有接收到主機給本身的消息，立刻接管虛擬ip，同時在配置文件中配置切換主備機時發送郵件，此時開發團隊收到郵件即知道主機掛了，立刻去排除主機的故障。


將主機上的keepalived服務中止，service keepalived stop ,而後查看虛擬ip綁定狀況，

主機掛了：能夠看到虛擬ip就沒有綁在主機上



備機狀況：虛擬ip已經綁定到備機，此時主機雖然掛了，可是切換到備機上了（發現故障和切換的時間差最大也就是1秒），虛擬ip也綁到備機上了，訪問虛擬ip，就會請求備機nginx而後轉發到web服務器實現高可用。

 

 

 運維人員收到郵件後就去排除主機故障了，搞定以後（模擬爲keepalived服務啓動），這時主機告訴備機，我又活了，因而備機將管理權又交給主機（切換爲主機nginx提供服務）：


主機keepalived服務啓動後，即吧主機維護好以後：能夠看到，虛擬ip又自動綁到了主機上

 

 

 備機狀況，主機活了以後，備機轉交管理權，虛擬ip切換到主機上，備機不綁定虛擬ip,貌似啓動keepalived服務以後並不能立刻切回，應該是起服務須要點時間吧，可是不影響，這段時間仍是備機綁定虛擬IP的


 

 這就是keepalived高可用的模擬。

 

注意問題：


主機掛了以後，主機nginx恢復時，必定要將nginx也啓動，不然即便虛擬ip切換到了主機上，可是主機nginx沒起那也是無法轉發的。因此要把nginx啓動要加在開機啓動中。

 

4、Nginx服務開機自啓動：

 

在linux系統的/etc/init.d/目錄下建立nginx文件，使用以下命令：（vim命令不會的本身去學吧哈哈）



將以下內容搞到該文件中:注意紅色部分修改爲你的路徑便可，nginxd值是啓動nginx的nginx路徑，nginx_config值是nginx配置文件nginx.conf路徑，nginx_pid值是nginx.pid所在路徑，若是按照我方法安裝的話，是在nginx安裝目錄的logs裏邊的


而後設置該文件的訪問權限：執行如下命令，意爲全部用戶可訪問



 最後將ngix加入到rc.local文件中，這樣開機的時候nginx就默認啓動了



添加


 

保存並退出，下次重啓就會生效，nginx的開機自啓動。測試無誤的。

 

4、解決nginx進程和keepalived不一樣時存在問題:

 

keepalived是經過檢測keepalived進程是否存在判斷服務器是否宕機，若是keepalived進程在，可是nginx進程不在了，那麼keepalived是不會作主備切換。由於是nginx掛了，而後沒法作代理，keepalived還在不會切換到備機。

因此一直檢測nginx是否還在，若是不在，那麼讓keepalived也中止，同生共死。

注：只須要在主機上搞就好了，備機不必檢測nginx，由於基本是主機在服務。

解決：寫個腳原本監控nginx進程是否存在，若是nginx不存在就將keepalived進程殺掉。

注：keepalived不須要開機啓動，假如開機自啓的話，若是keepalived比nginx 更快啓動的話，腳本檢測會把keepalived停掉的，因此不必，只須要nginx開機啓動，啓動主機後自行手動的把keepalived服務啓動便可。

 

在主nginx上編寫nginx進程檢測腳本（check_nginx_dead.sh）,在keepalived配置文件目錄下建立腳本:



把下邊這些內容搞到腳本文件中，內容以下：


給訪問權限：否則不行哦，這裏卡了我半小時



先測試一下腳本：


把nginx停了，此時keepalived還在運行，因此不會切換，虛擬ip沒法訪問到web服務器



而後執行腳本：


主機腳本檢測nginx不在了，把keepalived停掉，從輸出能夠看到確實中止了，主機虛擬沒有綁定虛擬ip



備機：成功綁定虛擬ip

 

 

因此，只須要讓該腳本一直執行，即一直檢測nginx進程是否在，若是沒得了，那麼直接中止主機keepalived，切換備機，保證可以訪問web服務器。


按以下修改keepalived配置文件keepalived.conf，添加腳本定義檢測：


只須要在正確的位置添加紅色部分便可：那麼腳本則是兩秒執行一次，一旦發現主機nginx不在了，keepalived中止，切換備機


保存後，從新啓動主機keepalived服務便可。

 

測試：


回到負載均衡高可用的初始狀態，保證主、備上的keepalived、nginx所有啓動。

中止主nginx服務：


主機查看keepalived進程，發現沒有，說明已經中止了，虛擬ip也沒有綁在主機上


 

 備機：綁定虛擬ip，切換成功。

 
   測試經過，若是主機nginx掛了以後，keepalived也會隨着掛掉，而後切換備機。   以上全部過程均是通過測試的，因此除去一些其餘因素，例如人品，應該都是能夠成功的。     通過大牛指點：添加兩個注意點：     1.按照如上配置,使用redis數據庫,放入session中的對象必需要實現java.io.Serializable接口，使用memcache的能夠不用實現Serializable接口     緣由是:由於tomcat裏使用的將session放置redis使用的工具類,是使用的jdk序列化模式存儲的，這一點也是很容易理解的，session.setAttribute(String key, Object value)，存儲Object類型     object放入redis中又要能取出來，只能是序列化進行存儲了，而後取出的時候進行反序列化。     因此咱們在session中存儲的任何對象，都必須實現序列化接口。     2.按照如上配置,使用redis作session存儲空間時,web應用的session-time的時間單位會變成[秒],而不是本來的[分]     緣由是:由於tomcat裏使用的將session放置redis使用的工具類,在存儲時爲對tomcat容器時間作轉換，     在redis中設置過時時間是使用秒做爲單位的，有個命令叫expire能夠設置redis鍵值過時時間，因此在context.xml配置文件中咱們須要制定session過時時間（默認是60秒，配成1800即30分鐘），這一點很重要。