Tomcat服務器集羣與負載均衡實現

1、前言

在單一的服務器上執行WEB應用程序有一些重大的問題，當網站成功建成並開始接受大量請求時，單一服務器終究沒法知足須要處理的負荷量，因此就有點顯得有點力不從心了。另一個常見的問題是會產生單點故障，若是該服務器壞掉，那麼網站就馬上沒法運做了。不管是由於要有較佳的擴充性仍是容錯能力，咱們都會想在一臺以上的服務器計算機上執行WEB應用程序。因此，這時候咱們就須要用到集羣這一門技術了。

在進入集羣系統架構探討以前，先定義一些專門術語：

1. 集羣(Cluster)：是一組獨立的計算機系統構成一個鬆耦合的多處理器系統，它們之間經過網絡實現進程間的通訊。應用程序能夠經過網絡共享內存進行消息傳送，實現分佈式計算機。

2. 負載均衡(Load Balance)：先得從集羣講起，集羣就是一組連在一塊兒的計算機，從外部看它是一個系統，各節點能夠是不一樣的操做系統或不一樣硬件構成的計算機。如一個提供Web服務的集羣，對外界來看是一個大Web服務器。不過集羣的節點也能夠單獨提供服務。

3. 特色：在現有網絡結構之上，負載均衡提供了一種廉價有效的方法擴展服務器帶寬和增長吞吐量，增強網絡數據處理能力，提升網絡的靈活性和可用性。集羣系統(Cluster)主要解決下面幾個問題：
高可靠性（HA）：利用集羣管理軟件，當主服務器故障時，備份服務器可以自動接管主服務器的工做，並及時切換過去，以實現對用戶的不間斷服務。
高性能計算（HP）：即充分利用集羣中的每一臺計算機的資源，實現複雜運算的並行處理，一般用於科學計算領域，好比基因分析，化學分析等。
負載平衡：即把負載壓力根據某種算法合理分配到集羣中的每一臺計算機上，以減輕主服務器的壓力，下降對主服務器的硬件和軟件要求。

整體來講，在負載均衡的思路下，多臺服務器爲對等方式，每臺服務器都具備同等的地位，能夠單獨對外提供服務而無須其餘服務器的輔助。經過負載分擔技術，將外部發送來的請求按必定規則分配到對稱結構中的某一臺服務器上，而接收到請求的服務器都獨立迴應客戶機的請求。

提供服務的一組服務器組成了一個應用服務器集羣(cluster)，集羣下的對等多機環境能夠增長系統的併發處理能力，和單臺機器出現故障系統的錯誤冗餘能力；同時實現了負載均衡和系統高可靠性。

2、經常使用負載均衡技術

1. 基於DNS的負載均衡

經過DNS服務中的隨機名字解析來實現負載均衡，在DNS服務器中，能夠爲多個不一樣的地址配置同一個名字，而最終查詢這個名字的客戶機將在解析這個名字時獲得其中一個地址。所以，對於同一個名字，不一樣的客戶機會獲得不一樣的地址，他們也就訪問不一樣地址上的Web服務器，從而達到負載均衡的目的。

2. 反向代理負載均衡 （如Apache+JK2+Tomcat這種組合）

使用代理服務器能夠將請求轉發給內部的Web服務器，讓代理服務器將請求均勻地轉發給多臺內部Web服務器之一上，從而達到負載均衡的目的。這種代理方式與普通的代理方式有所不一樣，標準代理方式是客戶使用代理訪問多個外部Web服務器，而這種代理方式是多個客戶使用它訪問內部Web服務器，所以也被稱爲反向代理模式。

3. 基於NAT（Network Address Translation）的負載均衡技術 （如Linux Virtual Server，簡稱LVS）

網絡地址轉換爲在內部地址和外部地址之間進行轉換，以便具有內部地址的計算機能訪問外部網絡，而當外部網絡中的計算機訪問地址轉換網關擁有的某一外部地址時，地址轉換網關能將其轉發到一個映射的內部地址上。所以若是地址轉換網關能將每一個鏈接均勻轉換爲不一樣的內部服務器地址，此後外部網絡中的計算機就各自與本身轉換獲得的地址上服務器進行通訊，從而達到負載分擔的目的。

3、Apache+JK2實現Tomcat集羣與負載均衡

客戶系統通常採用Apache httpd做爲web服務器，即做爲Tomcat的前端處理器，根據具體狀況而定，有些狀況下是不須要Apache httpd做爲 web 服務器的，如系統展示沒有靜態頁面那就不須要Apache httpd，那時能夠直接使用Tomcat做爲web 服務器來使用。使用Apache httpd主要是它在處理靜態頁面方面的能力比Tomcat強多了。

1. 集羣實現原理

如上圖所示，主要經過 Apache-Server 做爲中轉服務器，實現多個 tomcat 服務器之間的分佈式處理，用戶直接請求 Apache-Server ，而後 Apache-Server 會將請求分發到具體的 tomcat-server ，以後 tomcat-server 響應客戶請求並返回結果到 Apache-Server ，最後 Apache-Server 返回結果給用戶。

2. 配置負載均衡器

文件說明：

(a) mod_jk.conf，主要定義 mod_jk 模塊的位置以及 mod_jk 模塊的鏈接日誌設置，還有定義 worker.properties 文件的位置。

(b) worker.properties，定義 worker 的參數，主要是鏈接 tomcat 主機的地址和端口信息。若是 Tomcat 與 apache 不在同一臺機器上，或者須要作多臺機器上 tomcat 的負載均衡只須要更改 workers.properties 文件中的相應定義便可。％ APACHE_HOME ％爲你的安裝目錄。

環境說明： 主要使用了一個 Apache Server 和兩個 Tomcat ，在同一臺電腦上進行測試。

(a) 準備軟件

Jdk1.6 下載地址： http://java.sun.com

tomcat -6.0.29 下載地址： http://jakarta.apache.org

apache_2.2.4-win32-x86-no_ssl.msi 下載地址： http://httpd.apache.org/download.cgi

mod_jk-1.2.31-httpd-2.0.52.so ( 主要做用是創建 Apache Server 與 Tomcat 之間的鏈接 ) 下載地址： http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/

說明： apache-server 安裝完成後，能夠在瀏覽器中輸入 http://localhost/ 來測試，若是出現 」 It works!」 則表示安裝成功。

(b) 安裝 mod_jk 鏈接模塊

安裝好 Jdk 、 tomcat 、 apache 後 , 加入 mod_jk 鏈接模塊，就是把 mod_jk- 1.2.31 -httpd-2.2.3.so 文件拷貝到％ APACHE_HOME ％ \modules 下，把 jk 模塊的配置放到單獨的文件中來，在％ APACHE_HOME ％ \conf 目錄新建 mod_jk.conf 、 workers.properties 文件。

在 httpd.conf 最後加上：

# JK module settings

Include conf/mod_jk.conf

說明：以上表示將 mod_jk.conf 配置文件包含進來

(c) 修改 mod_jk.conf 文件

爲了保持 httpd.conf 文件的簡潔，把 jk 模塊的配置放到單獨的文件中來。在 mod_jk.conf 文件中添加如下內容：

# Load mod_jk2 module

LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.so

# Where to find workers.properties( 引用 workers 配置文件 )

JkWorkersFile conf/workers.properties

# Where to put jk logs(log 文件路徑 )

JkLogFile logs/mod_jk2.log

# Set the jk log level [debug/error/info](log 級別 )

JkLogLevel info

# Select the log format(log 格式 )

JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

# JkOptions indicate to send SSL KEY SIZE,

JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

# JkRequestLogFormat set the request format

JkRequestLogFormat "%w %V %T"

# Send JSPs for context / to worker named loadBalancer(URL 轉發配置，匹配的 URL 才轉發到 tomcat 進行處理 )

JkMount /*.jsp controller

# JkMount /*.* loadBalancer

(d) 修改 workers.properties 文件

在 workers.properties 文件中添加如下內容：

#server 列表

worker.list = controller,tomcat1,tomcat2

# tomcat1(ajp13 端口號，在tomcat下server.xml配置,默認8009)

worker.tomcat1.port=8009

#tomcat 的主機地址，如不爲本機，請填寫ip地址

worker.tomcat1.host=localhost

worker.tomcat1.type=ajp13

#server 的加權比重，值越高，分得的請求越多

worker.tomcat1.lbfactor = 1

# tomcat2

worker.tomcat2.port=9009

worker.tomcat2.host=localhost

worker.tomcat2.type=ajp13

worker.tomcat2.lbfactor = 1

# controller( 負載均衡控制器)

worker.controller.type=lb

# 指定分擔請求的tomcat

worker.controller.balanced_workers=tomcat1,tomcat2

#worker.controller.sticky_session=true

說明：此文件配置了 2 個 tomcat 服務器進行負載均衡處理

(e) 修改 tomcat 配置文件 server.xml

更改其中一個的設置打開 tomcat2/conf/server.xml 文件，修改裏面全部的端口設置，將 8 改成 9 ，以下：

(f) 編寫一個測試頁面 teat1.jsp

創建一個 test 的 web 應用，裏面新建一個 test1.jsp, 內容爲：

(g) 啓動服務器並進行測試

依次啓動 apache-server 、 tomcat1 、 tomcat2 ，經過 http://localhost/test/test1.jsp 訪問，查看 tomcat1 的窗口，能夠看到打印了一行 "==========" ，再刷新一次， tomcat2 也打印了一條，再刷新，能夠看到請求會被 tomcat1,tomcat2 輪流處理 , 實現了負載均衡

3. 集羣 (session複製 )

只配置負載均衡還不行，還要 session 複製，也就是說其中任何一個 tomcat 的添加的 session ，是要同步複製到其它 tomcat ， 集羣內的 tomcat 都有相同的 session：

(a) Tomcat 配置

修改 tomcat1, tomcat2 的 server.xml 文件添加集羣內容， tomcat5.5 無需添加，只須要去掉註釋符， tomcat6.0 須要添加，內容以下：

<Cluster className="org.apache.catalina.cluster.tcp.SimpleTcpCluster"

managerClassName="org.apache.catalina.cluster.session.DeltaManager"

expireSessionsOnShutdown="false"

useDirtyFlag="true"

notifyListenersOnReplication="true">

<Membership

className="org.apache.catalina.cluster.mcast.McastService"

mcastAddr="228.0.0.4"

mcastPort="45564"

mcastFrequency="500"

mcastDropTime="3000"/>

<Receiver

className="org.apache.catalina.cluster.tcp.ReplicationListener"

tcpListenAddress="auto"

tcpListenPort="4001"

tcpSelectorTimeout="100"

tcpThreadCount="6"/>

<Sender

className="org.apache.catalina.cluster.tcp.ReplicationTransmitter"

replicationMode="pooled"

ackTimeout="15000"

waitForAck="true"/>

<Valve className="org.apache.catalina.cluster.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

<Deployer className="org.apache.catalina.cluster.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

<ClusterListener className="org.apache.catalina.cluster.session.ClusterSessionListener"/>

</Cluster>

分別添加以上內容後，在 tomcat2 中，修改 tcpListenPort="4001" 爲 4002。

Engine 增長 jvmRoute 屬性設置， jvmRoute 的值來自於 workers.properties 文件所設置的服務器名稱。

<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1" >

#server 列表

worker.list = controller,tomcat1,tomcat2

(b) 添加 test.jsp 頁面

修改 web.xml 文件，加入 <distributable/> 節點，以下所示：

(c) Session 複製測試

測試步驟以下：

1) 啓動 apache-server 、 tomcat1 、 tomcat2

2) 訪問 http://localhost/test/test.jsp ，輸入名稱： test0001 、值： 123 並點擊「提交查詢內容」按鈕，顯示效果以下：

如上圖所示， tomcat1 建立了一個新的 session ， session 中有屬性 test0001, 值爲 123

3) 關閉 tomcat1 服務器， tomcat1 端口爲 8080 ，以下圖：

4) 在頁面中再次點擊「提交查詢內容」按鈕，效果以下：

前端頁面並無發生改變，接下來查看後臺狀況：

如圖所示，能夠發現 session 已成功複製到 tomcat2 中，以此證實 tomcat 集羣已配置成功。

5) 另外來看看不關閉 tomcat1 服務器再次提交的狀況

如圖所示，請求並無轉發到 tomcat2 服務器，而是再次轉回 tomcat1 服務器，這種狀況是因爲配置了 jvmRoute 所致，以我的理解，配置了此屬性後， apache-server 會根據 session 狀況來進行路由，同一個 session 會轉發給同一個服務器。

6) 打開一個新的 IE 窗口，並訪問 http://localhost/test/test.jsp

新窗口的請求轉發到了 tomcat2 服務器， session 的 id 爲 DD9E6C8181653B9BCCF534FC8760B264.tomcat2 ，根據測試結果能夠說明，在不發生服務器關閉的狀況下，每一個 session 會綁定到同一個服務器中，而不會在服務器間發生複製。

4、總結

介紹完上面的集羣技術以後，下面就基於Tomcat的集羣架構方案進行說明：

1. 用戶的網頁瀏覽器作完本地 DNS和企業受權的DNS之的請求/響應後，這時候企業受權的DNS（即21cn BOSS DNS）會給用戶本地的DNS服務器提供一個NAT請求分配器（即網關）IP。
2. NAT分配器，它會根據特定的分配算法，來決定要將鏈接交給哪一臺內部 Apache httpd來處理請求。大多數的NAT請求分配器提供了容錯能力：根據偵測各類WEB服務器的失效情況，中止將請求分配給已經宕掉的服務器。而且有些分配器還能夠監測到WEB服務器機器的負載狀況，並將請求分配給負載最輕的服務器等等。Linux Virtual Server是一個基於Linux操做系統上執行的VS-NAT開源軟件套件，並且它有豐富的功能和良好的說明文件。商業硬件解決方案 Foundry Networks的ServerIron是目前業界公認最佳的請求分配器之一。
3. Apache httpd + Mod_JK2在這裏是做爲負載均衡器，那爲何要作集羣呢？若是集羣系統要具有容錯能力，以便在任何單一的硬件或軟件組件失效時還能100%可用，那麼集羣系統必須沒有單點故障之憂。因此，不能只架設一臺有mod_jk2的Apache httpd，由於若是 httpd或mod_jk2失效了，將不會再有請求被會送交到任何一個Tomcat 實例。這種狀況下，Apache httpd就是瓶勁，特別在訪問量大的網站。
4. Mod_JK2負載均衡與故障復原，決定把Apache httpd當成web服務器，並且使用mod_jk2將請求傳送給Tomcat，則可使用mod_jk2的負載均衡與容錯功能。在集羣系統中，帶有mod_jk2的Apache httpd能夠作的事情包括：

A 將請求分配至一或多個Tomcat實例上你能夠在mod_jk2的workers.properties文件中，設定許多Tomcat實例，並賦於每一個實例一個lb_factor值，以做爲請求分配的加權因子。
B. 偵測Tomcat實例是否失敗當Tomcat實例的鏈接器服務再也不響應時，mod_jk2會及時偵測到，並中止將請求送給它。其餘的Tomcat實例則會接受失效實例的負載。
C. 偵測Tomcat實例在失效後的什麼時候恢復因鏈接器服務失效，而中止將請求分配給Tomcat實例以後，mod_jk2會週期性地檢查是否已恢復使用性，並自動將其加入現行的Tomcat實例池中。

5. Tomcat中的集羣原理是經過組播的方式進行節點的查找並使用TCP鏈接進行會話的複製。這裏提示一下就是，對每一個請求的處理，Tomcat都會進行會話複製，複製後的會話將會慢慢變得龐大。
6. Mod_jk2同時支持會話親和和會話複製。在tomcat 5中如何實現會話親和和會話複製？把server.xml中的標籤去掉就實現會話親和，把標籤加上就實現會話複製。
7. 會話親和：就是表示來自同會話的全部請求都由相同的Tomcat 實例來處理，這種狀況下，若是Tomcat實例或所執行的服務器機器失效，也會喪失Servlet的會話數據。即便在集羣系統中執行更多的Tomcat實例，也永遠不會複製會話數據。這樣是提升集羣性能的一種方案，但不具有有容錯能力了。
8. 使用會話複製，則當一個Tomcat實例宕掉時，因爲至少還有另外一個Tomcat實例保有一份會話狀態數據，於是數據不會喪失。但性能會有所下降。

其實不管是分佈式，數據緩存，仍是負載均衡，無非就是改善網站的性能瓶頸，在網站源碼不作優化的狀況下，負載均衡能夠說是最直接的手段了。其實拋開這個名詞，放開了說，就是但願用戶可以分流，也就是說把全部用戶的訪問壓力分散到多臺服務器上，也能夠分散到多個tomcat裏，若是一臺服務器裝多個tomcat，那麼即便是負載均衡，性能也提升不了太多，不過能夠提升穩定性，即容錯性。當其中一個主tomcat當掉，其餘的tomcat也能夠補上，由於tomcat之間實現了Session共享。待tomcat服務器修復後再次啓動，就會自動拷貝全部session數據，而後加入集羣。這樣就能夠不間斷的提供服務。若是要真正從本質上提高性能，必需要分佈到多臺服務器。

其實多臺服務器各配置一個tomcat也能夠實現負載均衡，並且那樣的話，可使用安裝版的tomcat，而不用是下文中的免安裝的tomcat，並且tomcat端口配置也就不用修改了。