Mysql讀寫分離方案－Amoeba環境部署記錄
Mysql的讀寫分離可使用MySQL Proxy，也可使用Amoeba。Amoeba(變形蟲)項目是一個相似MySQL Proxy的分佈式數據庫中間代理層軟件，是由陳思儒開發的一個開源的java項目。其主要功能包括讀寫分離，垂直分庫，水平分庫等，通過測試，發現其功能和穩定性都很是的不錯，若是須要構架分佈式數據庫環境，採用Amoeba是一個不錯的方案。目前Amoeba一共包括For aladdin,For MySQL和For Oracle三個版本，如下介紹主要關注For MySQL版本的一個讀寫分離實現。實際上垂直切分和水平切分的架構也相差不大，改動幾個配置就能夠輕鬆實現。下圖是一個採用Amoeba的讀寫分離技術結合MySQL的Master-Slave Replication的一個分佈式系統的架構：html
Amoeba處於在應用和數據庫之間，扮演一箇中介的角色，將應用傳遞過來的SQL語句通過分析後，將寫的語句交給Master庫執行，將讀的語句路由到Slave庫執行（固然也能夠到Master讀，這個徹底看配置）。Amoeba實現了簡單的負載均衡（採用輪詢算法，在配置文件裏設置）和Failover。若是配置了多個讀的庫，則任何一個讀的庫出現宕機，不會致使整個系統故障，Amoeba能自動將讀請求路由到其餘可用的庫上，固然，寫仍是單點的依賴於Master數據庫的，這個須要經過數據庫的切換，或者水平分割等技術來提高Master庫的可用性。java
Amoeba能夠在不一樣機器上啓動多個，而且作一樣的配置來進行水平擴展，以分擔壓力和提高可用性，能夠將Amoeba和MySQL裝在同一臺機器，也能夠裝在不一樣的機器上，Amoeba自己不作數據緩存，因此對於內存消耗不多，主要是CPU佔用。對於應用來講，圖中的三個Amoeba就是三臺如出一轍的MySQL數據庫，鏈接其中任何一臺都是能夠的，因此須要在應用端有一個Load balance和Failover的機制，須要鏈接數據庫時從三臺中隨機挑選一臺便可，若是其餘任何一臺出現故障，則能夠自動Failover到剩餘的可用機器上。MySQL的JDBC驅動從connector-j 3.17版本起已經提供了這樣的負載均衡和故障切換的功能，那麼剩下的事情對於應用來講就很簡單了，不須要作太多的改動就能搭建一套高可用的MySQL分佈式數據庫環境，何樂而不爲？node
Amoeba專一分佈式數據庫proxy開發。Amoeba身處在Client、DB Server(s)之間，對客戶端透明，具備負載均衡、高可用性、sql過濾、讀寫分離、可路由相關的query到目標數據庫、可併發請求多臺數據庫合併結果。
Amoeba主要解決：
1）下降 數據切分帶來的複雜多數據庫結構
2）提供切分規則並下降 數據切分規則 給應用帶來的影響
3）下降db 與客戶端的鏈接數
4）讀寫分離mysql
爲何要用Amoeba
目前要實現mysql的主從讀寫分離，主要有如下幾種方案：
1）經過程序實現，網上不少現成的代碼，比較複雜，若是添加從服務器要更改多臺服務器的代碼。
2）經過mysql-proxy來實現，因爲mysql-proxy的主從讀寫分離是經過lua腳原本實現，目前lua的腳本的開發跟不上節奏，而寫沒有完美的現成的腳本，所以致使用於生產環境的話風險比較大，據網上不少人說mysql-proxy的性能不高。
3）本身開發接口實現，這種方案門檻高，開發成本高，不是通常的小公司能承擔得起。
4）利用阿里巴巴的開源項目Amoeba來實現，具備負載均衡、高可用性、sql過濾、讀寫分離、可路由相關的query到目標數據庫，而且安裝配置很是簡單。經測試，性能相比mysql-proxy較高。linux
下面就基於Amoeba的讀寫分離環節部署作一記錄：算法
1）環境準備sql
182.48.115.236 master-node 182.48.115.238 slave-node 182.48.115.237 amoeba-node 182.48.115.236和182.48.115.238作成mysql主從複製。關閉三臺機器的iptables防火牆和selinux mysql安裝參考：http://www.cnblogs.com/kevingrace/p/6109679.html mysql主從部署參考：http://www.cnblogs.com/kevingrace/p/6256603.html
2）amoeba安裝數據庫
Amoeba框架是居於JDK1.5開發的，採用了JDK1.5的特性，因此還須要安裝java環境，建議使用javaSE1.5以上的JDK版本.
1）安裝java環境
安裝參考：http://www.cnblogs.com/kevingrace/p/5870814.html
[root@amoeba-node ~]# yum -y install java-1.7.0-openjdk*
設置java的環境變量
[root@amoeba-node ~]# vim /etc/profile
.......
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
使之生效
[root@amoeba-node ~]# source /etc/profile
[root@amoeba-node ~]# java -version
java version "1.7.0_141"
OpenJDK Runtime Environment (rhel-2.6.10.1.el6_9-x86_64 u141-b02)
OpenJDK 64-Bit Server VM (build 24.141-b02, mixed mode)
2）安裝Amoeba
下載地址：https://sourceforge.net/projects/amoeba/
百度雲盤下載：https://pan.baidu.com/s/1c1FRsbe 提取密碼：xav2
Amoeba安裝很是簡單，直接解壓便可使用，這裏將Amoeba解壓到/usr/local/amoeba目錄下，這樣就安裝完成了
[root@amoeba-node ~]# unzip amoeba-mysql-3.0.5-RC-distribution.zip
[root@amoeba-node ~]# mv amoeba-mysql-3.0.5-RC /usr/local/amoeba
[root@amoeba-node ~]# cd /usr/local/amoeba
[root@amoeba-node amoeba]# ll
總用量 20
drwxrwxrwx. 2 root root 4096 7月 5 2013 benchmark
drwxrwxrwx. 2 root root 4096 7月 5 2013 bin
drwxrwxrwx. 2 root root 4096 7月 5 2013 conf
-rwxrwxrwx. 1 root root 728 7月 5 2013 jvm.properties
drwxrwxrwx. 2 root root 4096 7月 5 2013 lib
3）配置Amoeba
Amoeba的配置文件位於/usr/local/amoeba/conf目錄下。配置文件比較多，可是僅僅使用讀寫分離功能，只需配置兩個文件便可，分別是dbServers.xml和amoeba.xml，
若是須要配置ip訪問控制，還須要修改access_list.conf文件，下面首先介紹dbServers.xml的配置：
[root@amoeba-node amoeba]# cat conf/dbServers.xml
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">
<!--
Each dbServer needs to be configured into a Pool,
If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
such as 'multiPool' dbServer
-->
<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="connectionManager">${defaultManager}</property>
<property name="sendBufferSize">64</property>
<property name="receiveBufferSize">128</property>
<!-- mysql port -->
<property name="port">3306</property> //設置Amoeba要鏈接的mysql數據庫的端口，默認是3306
<!-- mysql schema -->
<property name="schema">huanqiutest</property> //設置缺省的數據庫，當鏈接amoeba時，操做表必須顯式的指定數據庫名，即採用dbname.tablename的方式，不支持 use dbname指定缺省庫，由於操做會調度到各個後端dbserver
<!-- mysql user -->
<property name="user">wang</property> //設置amoeba鏈接後端數據庫服務器的帳號，所以須要在全部後端數據庫上建立該用戶，並受權amoeba服務器可鏈接
<property name="password">wang123456</property> //設置amoeba鏈接後端數據庫服務器的密碼
</factoryConfig>
<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property> //最大鏈接數，默認500
<property name="maxIdle">500</property> //最大空閒鏈接數
<property name="minIdle">1</property> //最新空閒鏈接數
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<dbServer name="masterdb" parent="abstractServer"> //設置一個後端可寫的dbServer，這裏定義爲masterdb，這個名字能夠任意命名，後面在amoeba.xml文件裏會用到
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">182.48.115.236</property> //設置後端可寫dbserver的ip
</factoryConfig>
</dbServer>
<dbServer name="slavedb" parent="abstractServer"> //設置後端可讀dbserver（若是是多個slave從節點，這裏就配置多個<dbServer ... </dbServer>,而後加入到後面第一的可讀的組內）
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">182.48.115.238</property> //設置後端可讀dbserver的ip
</factoryConfig>
</dbServer>
<dbServer name="myslave" virtual="true"> //設置定義一個虛擬的dbserver，實際上至關於一個dbserver組，這裏將可讀的數據庫ip統一放到一個組中，將這個組的名字命名爲myslave
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property> //選擇調度算法，1表示複製均衡，2表示權重，3表示HA， 這裏選擇1
<!-- Separated by commas,such as: server1,server2,server1 -->
<property name="poolNames">slavedb</property> //myslave組成員
</poolConfig>
</dbServer>
</amoeba:dbServers>
另外一個配置文件amoeba.xml
[root@amoeba-node amoeba]# cat conf/amoeba.xml
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
<proxy>
<!-- service class must implements com.meidusa.amoeba.service.Service -->
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
<!-- port -->
<property name="port">8066</property> //設置amoeba監聽的端口，默認是8066
<!-- bind ipAddress --> //下面配置監聽的接口，若是不設置，默認監聽因此的IP
<!--
<property name="ipAddress">127.0.0.1</property>
-->
<property name="connectionFactory">
<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<property name="sendBufferSize">128</property>
<property name="receiveBufferSize">64</property>
</bean>
</property>
<property name="authenticateProvider">
<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
<property name="user">root</property> //提供客戶端鏈接amoeba時須要使用這裏設定的帳號 (這裏的帳號密碼和amoeba鏈接後端數據庫服務器的密碼無關)
<property name="password">123456</property>
<property name="filter">
<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>
</service>
<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
<!-- proxy server client process thread size -->
<property name="executeThreadSize">128</property>
<!-- per connection cache prepared statement size -->
<property name="statementCacheSize">500</property>
<!-- default charset -->
<property name="serverCharset">utf8</property>
<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</runtime>
</proxy>
<!--
Each ConnectionManager will start as thread
manager responsible for the Connection IO read , Death Detection
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>
<!-- default using file loader -->
<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>
<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleLoader">
<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">masterdb</property> //設置amoeba默認的池，這裏設置爲masterdb(這個是在dbServers.xml文件裏定義的)
<property name="writePool">masterdb</property> //這兩個選項默認是註銷掉的，必定要取消註釋！不然讀寫分離無效，這裏用來指定前面定義好的寫池
<property name="readPool">myslave</property> //取消註釋，這個是前面在dbServers.xml文件裏定義的讀池
<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>
4）在masterdb上（即master節點機182.48.115.236上）建立數據庫huanqiutest
mysql> create database huanqiutest;
Query OK, 1 row affected (0.00 sec)
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| huanqiutest |
| mysql |
| performance_schema |
| test |
+--------------------+
5 rows in set (0.00 sec)
而後在slavedb上（即slave節點182.48.115.238上）查看是否複製成功
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| huanqiutest |
| mysql |
| performance_schema |
| test |
+--------------------+
5 rows in set (0.00 sec)
分別在masterdb和slavedb上爲amoedb受權
mysql> GRANT ALL ON huanqiutest.* TO 'wang'@'182.48.115.237' IDENTIFIED BY 'wang123456';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
啓動amoeba
[root@amoeba-node ~]# /usr/local/amoeba/bin/launcher
....................................................................................
報錯1:
The stack size specified is too small, Specify at least 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
解決辦法：
從錯誤文字上看，應該是因爲stack size過小，致使JVM啓動失敗，要如何修改呢？
其實Amoeba已經考慮到這個問題，並將JVM參數配置寫在屬性文件裏，能夠經過該屬性文件修改JVM參數。
修改jvm.properties文件JVM_OPTIONS參數。
[root@amoeba-node ~]# vim /usr/local/amoeba/jvm.properties
將內容
JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss196k -XX:PermSize=16m -XX:MaxPermSize=96m"
修改成
JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"
再次啓動Amoeba就ok了
[root@amoeba-node ~]# nohup /usr/local/amoeba/bin/launcher & //將amoeba放在後臺執行。該命令執行後，按ctrl＋c
[root@amoeba-node ~]# ps -ef|grep amoeba
root 19079 1 1 15:01 pts/0 00:00:02 /usr/lib/jvm/java-1.7.0-openjdk.x86_64/bin/java -server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m -Dproject.home=/usr/local/amoeba -Damoeba.home=/usr/local/amoeba -Dproject.name=Amoeba-MySQL -Dproject.output=/usr/local/amoeba/logs -Dignore.signals=1,2 -Dclassworlds.conf=/usr/local/amoeba/bin/launcher.classpath -classpath /usr/local/amoeba/lib/plexus-classworlds-2.4.2-HEXNOVA.jar org.codehaus.classworlds.Launcher
root 19103 19009 0 15:02 pts/0 00:00:00 /bin/bash /usr/local/amoeba/bin/launcher
root 19109 19103 0 15:02 pts/0 00:00:00 tail -f /usr/local/amoeba/logs/console.log
root 19172 19009 0 15:04 pts/0 00:00:00 grep amoeba
[root@amoeba-node ~]# lsof -i:8066
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 19079 root 64u IPv6 2705157 0t0 TCP *:8066 (LISTEN)
..................................................................................
3）amoeba讀寫分離測試vim
注意：上面在amoeba.xml中指定的鏈接amoba的賬號和密碼（即root／123456）要提早在master和slave兩臺節點機上受權 mysql> grant all on *.* to root@'182.58.115.%' identified by "123456"; Query OK, 0 rows affected (0.00 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) 而後在mysql客戶端經過amoeba配置文件amoeba.xml中指定的用戶名、密碼、和端口以及amoeba服務器ip地址遠程登錄mysql數據庫 [root@localhost ~]# mysql -h182.48.115.237 -uroot -p123456 -P8066 Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2052322366 Server version: 5.1.45-mysql-amoeba-proxy-3.0.4-BETA Source distribution Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | huanqiutest | | test | +--------------------+ 3 rows in set (0.00 sec) 在huanqiutest庫建立haha表，並插入數據 mysql> use huanqiutest; Database changed mysql> create table if not exists haha (id int(10) PRIMARY KEY AUTO_INCREMENT,name varchar(50) NOT NULL); Query OK, 0 rows affected (0.20 sec) mysql> insert into haha values(1,"wangshibo"),(2,"guohuihui"); Query OK, 2 rows affected (0.01 sec) Records: 2 Duplicates: 0 Warnings: 0 mysql> select * from haha; +----+-----------+ | id | name | +----+-----------+ | 1 | wangshibo | | 2 | guohuihui | +----+-----------+ 2 rows in set (0.01 sec) 分別登錄masterdb（即master-node節點）和slavedb（slave-node節點）查看數據 master-node數據庫 mysql> select * from huanqiutest.haha; +----+-----------+ | id | name | +----+-----------+ | 1 | wangshibo | | 2 | guohuihui | +----+-----------+ 2 rows in set (0.00 sec) slave-node數據庫 mysql> select * from huanqiutest.haha; +----+-----------+ | id | name | +----+-----------+ | 1 | wangshibo | | 2 | guohuihui | +----+-----------+ 2 rows in set (0.00 sec) ------------------------------------------------------------------------- 停掉masterdb，而後在客戶端分別執行插入和查詢功能 [root@master-node ~]# /etc/init.d/mysql stop Shutting down MySQL............ SUCCESS! 客戶端鏈接amoeba後插入新數據 mysql> insert into huanqiutest.haha values(3,"zhangmin"); ERROR 1044 (42000): Amoeba could not connect to MySQL server[182.48.115.236:3306],拒絕鏈接 mysql> select * from huanqiutest.haha; +----+-----------+ | id | name | +----+-----------+ | 1 | wangshibo | | 2 | guohuihui | +----+-----------+ 2 rows in set (0.01 sec) 能夠看到，關掉masterdb後，寫入報錯，讀正常 ------------------------------------------------------------------------ 開啓masterdb上的msyql 關閉slavedb上的mysql masterdb [root@master-node ~]# /etc/init.d/mysql start Starting MySQL.. SUCCESS! slavedb [root@slave-node ~]# /etc/init.d/mysql stop Shutting down MySQL.... [肯定] 客戶端再次嘗試 mysql> insert into huanqiutest.haha values(3,"zhangmin"); Query OK, 1 row affected (0.01 sec) mysql> select * from huanqiutest.haha; ERROR 1044 (42000): poolName=myslave, no valid pools 能夠看到插入成功，讀取失敗 ------------------------------------------------------------------------ 開啓slavedb上的mysql，查看數據是否自動同步 [root@slave-node ~]# /etc/init.d/mysql start Starting MySQL.. [肯定] 客戶端： mysql> select * from huanqiutest.haha; +----+-----------+ | id | name | +----+-----------+ | 1 | wangshibo | | 2 | guohuihui | | 3 | zhangmin | +----+-----------+ 3 rows in set (0.00 sec) 因而可知，amoeba的讀寫分離的效果已經很明顯了！上面是amoeba針對一個庫的讀寫分離配置，若是是多個庫的讀寫分離，能夠部署多個amoeba實例，amoeba端口不同，而後啓動多個實例便可。
....................................................................................................................
Amoeba的有關配置文件說明後端
主配置文件：amoeba.xml 用來配置Amoeba服務的基本參數，如Amoeba主機地址、端口、認證方式、用於鏈接的用戶名、密碼、線程數、超時時間、其餘配置文件的位置等。 數據庫服務器配置文件：dbServers.xml 用來存儲和配置Amoeba所代理的數據庫服務器的信息，如:主機IP、端口、用戶名、密碼等。 切分規則配置文件rule.xml 用來配置切分規則。 數據庫函數配置文件:functionMap.xml 用來配置數據庫函數的處理方法，Amoeba將使用該配置文件中的方法解析數據庫函數。 切分規則函數配置文件ruleFunctionMap.xml 用來配置切分規則中使用的用戶自定義函數的處理方法。 訪問規則配置文件:access_list.conf 用來受權或禁止某些服務器IP訪問Amoeba。 日誌規格配置文件log4j.xml 用來配置Amoeba輸出日誌的級別和方式。
相關文章
- 1. Mysql讀寫分離方案－MySQL Proxy環境部署記錄
- 2. MySQL 讀寫分離方案－MySQL Proxy環境部署記錄
- 3. 001.Amoeba讀寫分離部署
- 4. MySQL讀寫分離-Amoeba
- 5. MySQL Amoeba讀寫分離
- 6. mysql讀寫分離之amoeba
- 7. Amoeba for mysql 讀寫分離
- 8. Mysql讀寫分離－Amoeba Proxy
- 9. amoeba讀寫分離
- 10. amoeba 讀寫分離
- 更多相關文章...
- • Maven 自動化部署 - Maven教程
- • ADO 添加記錄 - ADO 教程
- • 常用的分佈式事務解決方案
- • 使用阿里雲OSS+CDN部署前端頁面與加速靜態資源
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
