Amoeba for MySQL讀寫分離配置

實驗環境

hostname            ip

master-db        192.168.0.1

slave-db1        192.168.0.2

slave-db2        192.168.0.3

amoeba           192.168.0.123

 

1、 Amoeba簡介 

    Amoeba 是阿里巳巳的技術陳思儒開始的一個開源項目，它是分佈式數據庫Proxy解決方案。Amoeba框架是基於Java SE 1.5開發的，在安裝Amoeba前須要先安裝Java環境。經驗證，Amoeba在Java SE 1.5和Java SE 1.6上能正常運行。 

Amoeba的產品： 

Amoeba for MySQL  

Amoeba for Aladdin 

Amoeba for MongoDB 

如下主要介紹Amoeba for mysql： 

    Amoeba for MySQL致力於MySQL的分佈式數據庫前端代理層，它主要在應用層訪問MySQL的時候充當query 路由功能，與注 分佈式數據庫 proxy 開發。座落不Client、DB Server(s)之間。對客戶端透明。具備負載均衡、高可用性、Query過濾、讀寫分離、可路由相關的query到目標數據庫、可併發請求多臺數據庫合併結果。 在Amoeba上面你可以完成多數據源的高可用、負載均衡、數據切片的功能。目前在不少企業的生產線上面使用。 

    那麼Amoeba for mysql 對客戶端程序來講是什麼呢？ 咱們就當它是mysql吧，它是一個虛擬的mysql，對外提供mysql協議。客戶端鏈接amoeba就象鏈接mysql同樣。在amoeba內部須要配置相關的認證屬性。 

 

Amoeba for mysql與Mysql Proxy 的比較： 

    在MySQL proxy 6.0版本 上面若是想要讀寫分離並丏 讀集羣、寫集羣 機器比較多狀況下，用mysql proxy 須要至關大的工做量，目前mysql proxy沒有現成的 lua腳本。mysql proxy根本沒有配置文件， lua腳本就是它的所有，固然lua是至關方便的。那麼一樣這種東西須要編寫大量的腳本才能完成一 個複雜的配置。而Amoeba for Mysql只須要進行相關的配置就能夠知足需求。 

Amoeba for MySQL的優勢： 

1.  下降數據切分帶來的複雜多數據庫結構 

2.  提供切分規則並下降數據切分規則給應用帶來的影響 

3.  下降db 不客戶端的鏈接數 

4.  讀寫分離 

Amoeba for MySQL的缺點： 

1.  Amoeba for MySQL不支持事務：其實，分佈式事務的問題是全部數據庫中間層廣泛面臨的問題，不是Amoeba獨有的問題；目前一般的解決辦法是，將事務拆分紅幾個單數據庫內的小事務，由應用程序進行總控。 

2.  Amoeba for MySQL不支持跨節點JOIN：一樣，這個問題也不是Amoeba獨有的，一般的解決辦法是由應用程序先從一個節點取出數據，而後由應用程序去其餘節點JOIN。 

3.  Amoeba for MySQL不支持跨節點排序：這個問題也不是Ameoba獨有的，一般的解決辦法是由應用程序從多個節點中取出數據，而後進行排序。 

4.  Amoeba for MySQL不適合返回大量(超過10萬)數據的查詢。 

5.  Amoeba for MySQL不支持分庫分表，只能作到分數據庫實例。 

爲什麼使用Amoeba ： 

    隨着傳統的數據庫技術日趨成熟、計算機網絡技術的飛速發展和應用範圍的擴充，數據庫應用已經廣泛創建於計算機網絡之上。這時集中式數據庫系統表現出它的不足：集中式處理，勢必形成性能瓶頸；應用程序集中在一臺計算機上運行，一旦該計算機發生故障，則整個系統受到影響，可靠性不高；集中式處理引發系統的規模和配置都不夠靈活，系統的可擴充性差。在這種形勢下，集中式數據庫將向分佈式數據庫發展。而Amoeba的透明、簡易配置及多個優勢使其成爲分佈式數據庫代理產品中的優秀選擇。 

 

2、 安裝和運行Amoeba 

1. Amoeba for MySQL 架構： 

2. 驗證Java的安裝 

Amoeba框架是基於Java SE1.5開發的，建議使用Java SE1.5以上的版本。 

#  java  -version 

java version "1.6.0_35" 

Java(TM) SE Runtime Environment (build 1.6.0_35-b10) 

Java HotSpot(TM) 64-Bit Server VM (build 20.10-b01, mixed mode) 

注：JDK的安裝方法再也不闡述，不會的能夠參考：

http://304076020.blog.51cto.com/7503470/1642482  #安裝JDK部分。 

3.  安裝MySQL數據庫及配置主從複製部分此處再也不闡述，不會者可參考：

http://304076020.blog.51cto.com/7503470/1674911 

4.  下載Amoeba 

http://down.51cto.com/data/720175

5.  安裝Amoeba 

# unzip  amoeba-mysql-3.0.4-BETA-distribution.zip

# mv amoeba-mysql-3.0.4-BETA /usr/local/amoeba

 

3、 配置Amoeba for MySQL： 

Amoeba for MySQL的使用是很簡單的，主要是經過xml文件來實現的。 

1. 配置文件介紹： 

(1.) dbServers.xml   想象Amoeba做爲數據庫代理層，它必定會和不少數據庫保持通訊，所以它必須知道由它代理的數據庫如何鏈接，好比最基礎的：主機IP、端口、Amoeba使用的用戶名和密碼等等。這些信息存儲在$AMOEBA_HOME/conf/dbServers.xml中。 

(2.) rule.xml  Amoeba爲了完成數據切分提供了完善的切分規則配置，爲了瞭解如何分片數據、如何將數據庫返回的數據整合，它必須知道切分規則。不切分規則相關的信息存儲在$AMOEBA_HOME/conf/rule.xml中。 

(3.) functionMap.xml  當咱們書寫SQL來操做數據庫的時候，經常會用到不少不一樣的數據庫函數，好比：UNIX_TIMESTAMP()、SYSDATE()等等。這些函數如何被Amoeba解析呢？$AMOEBA_HOME/conf/functionMap.xml描述了函數名和函數處理的關係。 

(4.) ruleFunctionMap.xml  對$AMOEBA_HOME/conf/rule.xml進行配置時，會用到一些咱們本身定義的函數，好比咱們須要對用戶ID求HASH值來切分數據，這些函數在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定義。 

(5.) access_list.conf  Amoeba能夠制定一些可訪問以及拒絕訪問的主機IP地址，這部分配置在$AMOEBA_HOME/conf/access_list.conf中。 

(6.) log4j.xml  Amoeba容許用戶配置輸出日誌級別以及方式，配置方法使用log4j的文件格式，文件是$AMOEBA_HOME/conf/log4j.xml。 其中，咱們主要用到dbServer.xml 和 amoeba.xml 。 

2. dbServer.xml 的配置： 

 

<dbServer name=」abstractServer」 abstractive=」true」> 

   <factoryConfig class=」com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory」> 

      <property name=」connectionManager」>${defaultManager}</property> 

      <property name=」sendBufferSize」>64</property> 

      <property name=」receiveBufferSize」>128</property> 

 

          <!—mysql port --><!—代理鏈接數據庫使用的端口號--> 

      <property name=」port」>3306</property> 

 

           <!—mysql schema --><!—代理鏈接數據庫所使用的數據庫--> 

      <property name=」schema」>test</property> 

 

           <!—mysql user --><!—代理鏈接數據庫使用的用戶名--> 

       <property name=」user」>root</property> 

                  <!—代理鏈接數據庫使用的密碼--> 

       <property name=」password」>1234</property> 

   </factoryConfig> 

 

   <poolConfig class=」com.meidusa.toolkit.common.poolable.PoolableObjectPool」> 

       <property name=」maxActive」>500</property> 

       <property name=」maxIdle」>500</property> 

       <property name=」minIdle」>1</property> 

       <property name=」minEvictableIdleTimeMillis」>600000</property> 

       <property name=」timeBetweenEvictionRunsMillis」>600000</property> 

       <property name=」testOnBorrow」>true</property> 

       <property name=」testOnReturn」>true</property> 

       <property name=」testWhileIdle」>true</property> 

   </poolConfig> 

</dbServer> 

 

            <!--- 配置真實的數據庫的地址--> 

          <!--- 配置主從服務器及服務器鏈接池--> 

 

 

<dbServer name="server1"  parent="abstractServer"> 

      <factoryConfig> 

                <!-- mysql ip --> 

             <property name="ipAddress">192.168.0.1</property> 

      </factoryConfig> 

</dbServer> 

 

<dbServer name=」server2」  parent=」abstractServer」> 

      <factoryConfig> 

             <!—mysql ip --> 

             <property name=」ipAddress」>192.168.0.2</property> 

      </factoryConfig> 

</dbServer> 

<dbServer name=」server3」  parent=」abstractServer」> 

      <factoryConfig> 

             <!—mysql ip --> 

             <property name=」ipAddress」>192.168.0.3</property> 

      </factoryConfig> 

</dbServer> 

 

<dbServer name=」multiPool」 virtual=」true」> 

      <poolConfig class=」com.meidusa.amoeba.server.MultipleServerPool」> 

           <!—Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> 

            <property name=」loadbalance」>1</property> 

 

                   <!—Separated by commas,such as: server1,server2,server1 --> 

            <property name=」poolNames」>server2,server3</property> 

      </poolConfig> 

</dbServer> 

 

3. amoeba.xml 配置： 

客戶端鏈接Amoeba時所綁定的IP地址、端口、用戶名和密碼。及IP訪問限制。 

<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService"> 

                <!-- port --> 

         <property name="port">8066</property> 

 

                <!-- bind ipAddress --> 

                <!--  

                <property name="ipAddress">127.0.0.1</property> 

                --> 

 

         <property name="connectionFactory"> 

            <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory"> 

                <property name="sendBufferSize">128</property> 

                <property name="receiveBufferSize">64</property> 

            </bean> 

         </property> 

 

         <property name="authenticateProvider"> 

            <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator"> 

                <property name="user">root</property> 

                <property name="password">123</property> 

 

                <property name="filter"> 

                 <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController"> 

                <property name="ipFile">${amoeba.home}/conf/access_list.conf</property> 

                </bean> 

              </property> 

            </bean> 

         </property> 

 

</service> 

 

如下內容是定義讀寫分離： 

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter"> 

   <property name="ruleLoader"> 

      <bean class="com.meidusa.amoeba.route.TableRuleFileLoader"> 

       <property name="ruleFile">${amoeba.home}/conf/rule.xml</property> 

       <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property> 

      </bean> 

   </property> 

<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property> 

    <property name="LRUMapSize">1500</property> 

    <property name="defaultPool">multiPool</property> 

 

    <property name="writePool">server1</property> 

    <property name="readPool">multiPool</property> 

 

    <property name="needParse">true</property> 

</queryRouter> 

 

經過以上簡單配置，已經能夠實現數據庫的讀寫分離了。 

 

 

 

 

4、 測試 

#/usr/local/amoeba/bin/launcher &   (也可經過nohup後臺啓動，戒者本身寫一個腳原本啓動。 ) 

啓動的Amoeba默認端口爲8066 

在客戶端鏈接Amoeba測試： 

# mysql  -uroot –p123  -h 192.168.0.123 --port 8066 

mysql> show databases; 

mysql> CREATE DATABASE  test1;  \\  建立數據庫，以後在主從庫分別查看 經過Amoeba登陸，進行數據的查詢及揑入更新等操做，並查看mysql-log日誌，可發現所執行的INSERT 、UPDATE、DELETE等操做在主庫server1上操做，SELECT查詢語句在從庫server2和server3上執行。