企業網站架構之Nginx+tomcat+memcached集羣

nginx+tomcat+memcached應用

系統環境:RHEL6.4  x64   iptables -F   and selinux is disabled

主機角色:node1 :192.168.0.24 :lnmp環境 tomcat memcached

         node2 :192.168.0.99 : tomcat memcached

軟件下載:在lnmp環境上測試tomcat,使用nginx簡單發佈jsp

 jdk-6u32-linux-x64.bin apache-tomcat-7.0.37.tar.gz

https://code.google.com/memcached-session-manager        memcached的session管理

   Nginx(lnmp)

  /         \

<T1>       <T2>

;    \    /      ;

;      \/        ;      

;      /\        ;

;    /    \      ;

<M1>       <M2>

Tomcat1將session存儲在memcacted2上.tomcat和Memcached使用交叉存儲,只有當M2不可用時T1纔將數據存儲在M1上(M1是T1的failoverNode),使用這種方式能夠避免單點故障.從而實現應用的高可用性.

注意:兩臺node上的tomcat應用徹底一致

1.在兩臺node主機上配置tomcat環境

#sh jdk-6u32-linux-x64.bin

# mv jdk1.6.0_32/ /usr/local/lnmp/jdk

這個不是必須的,看本身的習慣哦

#vim /etc/profile              編寫環境變量

export JAVA_HOME=/usr/local/lnmp/jdk

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin

#source /etc/profile

#which javac

#which java

#vim test.java

public class test{

public static void main(String[] args)

{System.out.println("Hello!");  }

}

#javac test.java          編譯

#java test                   執行後出現Hello!說名java環境配置好

安裝tomcat服務器

#tar zxf apache-tomcat-7.0.37.tar.gz      解壓就能用,不須要編譯

#mv apache-tomcat-7.0.37 tomcat

#/root/tomcat/webapps/ROOT                          tomcat的默認發佈目錄

#/root/tomcat/bin/startup.sh(shutdown.sh)       tomcat默認的啓動和關閉腳本

tomcat默認開啓8080端口,

測試http://192.168.0.24:8080   訪問到tomcat默認的測試頁

#cd tomcat/webapps/ROOT            自寫測試頁

#vim test.jsp

this time is: <%=new java.util.Date()%>

測試訪問;http://192.168.0.24:8080   顯示當前時間

tomcat訪問每次得8080端口,使用nginx反向代理一下。

使用nginx發佈jsp動態網頁:

修改nginx配置文件:vim /usr/local/lnmp/nginx/conf/nginx.conf

location ~ \.jsp$ {

proxy_pass http://127.0.0.1:8080;

}

nginx -t && nginx -s reload

訪問:http://192.168.0.24/test.jsp

同步兩臺tomcat的內容

#scp tomcat/ jdk/ 192.168.0.99:

修改java環境變量/etc/profile

啓動tomcat服務，而且編寫能夠識別的腳本

測試：http：//192.168.0.99：8080/test.jsp

兩臺node(tomcat)準備好了

2.在node1上的nginx環境中發佈網頁

使用nginx的負載均衡功能,

在http塊中加

upstream linux {

server 192.168.0.24:8080;

server 192.168.0.99:8080;

}

location ~ \.jsp$ {

proxy_pass http://linux;

}

nginx -t && nginx -s reload  

測試：http：//lnmp.xxb.com/test.jsp      實現兩臺主機的負載均衡

lnmp.xxb.com對應的是nginx的(24)主機

問題:在後臺實現了nginx的負載均衡,可是當一個用戶刷新數據時,數據老是變化的,試想,在動態頁面,若是用戶提交數據刷新後會換成另一個空面,這樣會形成必定的損失

解決:給nginx增長一個sticky模塊.(須要從新編譯nginx)

從新在nginx在進行模塊化編譯：

download:nginx-sticky-modules.tar.gz(解壓就行)

#cd nginx-1.4.2/

# ./configure --prefix=/usr/local/lnmp/nginx --with-http_ssl_module --with-http_stub_status_module --add-module=/root/nginx-sticky-module-1.0

#make && make install

vim nginx.conf

upstream linux {

sticky;

裝了nginx-sticky後的功能

server 192.168.0.99:8080 ;

server 192.168.0.24:8080 ;

}

測試：http://lnmp.xxb.com/test.jsp 後發現刷新不會來回負載(每一個用戶看到的其實不是一個tomcat上的數據,可是對用戶是透明的)

3.nginx負載tomcat的jsp時,須要解決session共享:

使用memcache進行緩存(用戶)後端數據,可是又要想到解決單點故障問題,於是能夠採用兩臺memcache做爲後端負載.

memcached 11211 後端使用交叉試存儲(tomcat會將session同步,session自動尋找存儲的memcached,可是默認是交叉存儲,當m壞掉,tomcat都會存到存活的m上)

只要tomcat不會宕掉,一切數據都還ok

可是當memcached宕掉,tomcat會向存活的mem上存取

session 的序列化方案官方推薦的有 4 種:

1. java serialization

2. msm-kryo-serializer

3. msm-javolution-serializer

4. msm-xstream-serializer

其中性能最好的數Kryo,咱們使用kryo來作session

mecached服務器node1 and node2

#yum install memcached -y

#/etc/init.d/memcached restart

memcached默認開啓11211端口

測試訪問:telnet localhost 11211

stats                   查看狀態

set user 0 0 3    存儲新值(add replace)

get user             獲取值

配置兩臺memcached服務器(tomcat),下載jar包(必須支持相關的java程序)

kryo-1.03.jar

kryo-serializers-0.8.jar

memcached-2.5.jar

memcached-session-manager-1.5.1.jar

memcached-session-manager-tc7-1.5.1.jar

minlog-1.2.jar

msm-kryo-serializer-1.5.1.jar

reflectasm-0.9.jar

node1 and node2 同步的內容哦

#cd tomcat/lib/

#mget jar/*    下載tomcat的session共享管理

#cd tomcat/conf/

# vim context.xml

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"

memcachedNodes="n1:192.168.0.24:11211,n2:192.168.0.99:11211"

failoverNodes="n1"       失敗時存到n1，正常時交互存儲;tomcat2須要變n2

requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"

/>

#tomcat/bin/.sthudown.sh 關閉tomcat後重啓,以識別memcached-session-manager

# tail -f logs/catalina.out    默認日誌

INFO: MemcachedSessionService finished initialization, sticky true, operation timeout 1000, with node ids [n2] and failover node ids [n1]

正常啓動

編輯測試文件:

(動態效果的jsp網頁)

# vim tomcat/webapps/ROOT/test.jsp             提交用戶信息的測試頁

<%@ page contentType="text/html; charset=GBK" %>

<%@ page import="java.util.*" %>

<html><head><title>Cluster App Test</title></head>

<body>

Server Info:

<%

out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>

<%

out.println("<br> ID " + session.getId()+"<br>");

String dataName = request.getParameter("dataName");

if (dataName != null && dataName.length() > 0) {

String dataValue = request.getParameter("dataValue");

session.setAttribute(dataName, dataValue);

}

out.print("<b>Session list</b>");

Enumeration e = session.getAttributeNames();

while (e.hasMoreElements()) {

String name = (String)e.nextElement();

String value = session.getAttribute(name).toString();

out.println( name + " = " + value+"<br>");

System.out.println( name + " = " + value);

}

%>

<form action="test.jsp" method="POST">

name:<input type=text size=20 name="dataName">

<br>

key:<input type=text size=20 name="dataValue">

<br>

<input type=submit>

</form>

</body>

</html>

session共享完成:兩臺tomcat和memcached機子作相同的配置(jdk,memcache,tomcat)

測試:

http://lnmp.xxb.com/test.jsp     使用一臺tomcat和另一臺的memcached進行session共享

當任何一臺tomcat或者memcached掛了都無所謂

session會記錄而且保持用戶的數據信息

圖1：

訪問node1數據默認存在node2的memcached上,可是node1上能看見數據

圖2

能夠看見,當訪問node1的時候默認放數據是在node2上的

圖3：

                                                                                                                                                                                                 

                                                                                         http://my.oschina.net/xxbAndy/blog

                                                                                                        weichuangxxb@sina.cn