《《MySQL主從又叫作Replication、AB複製。簡單講就是A和B兩臺機器作主從後,在A上寫數據,B也會跟着寫數據,二者數據實時同步》》html
MySQL主從是基於binlog的,主上須開啓binlog才能進行主從。 主從過程大體有3個步驟
1)主將更改操做記錄到binlog裏
2)從將主的binlog事件(sql語句)同步到從本機上並記錄在relaylog裏
3)從根據relaylog裏面的sql語句按順序執行java
主上有一個log dump線程,用來和從的I/O線程傳遞binlog;從上有兩個線程,其中I/O線程用來同步主的binlog並生成relaylog,另一個SQL線程用來把relaylog裏面的sql語句執行一遍;兩種狀況:一種是作備份用,一種是做爲讀用mysql
環境準備:虛擬機裝好,oneinstack部署好MySQL;主從服務器的Linux、數據庫版本都一致;主的IP是192.168.1.11五、從的IP是192.168.1.118 linux
閒話少說,開整!!!!算法
***********主從配置***********
sql
一、配置主庫服務器115的my.cnf文件數據庫
vi /etc/my.cnfvim
server-id = 115 #設置主服務器的ID後端
innodb_flush_log_at_trx_commit = 2 #這個默認已經配置了centos
sync_binlog = 1 #開啓binlog日誌同步功能
log_bin = mysql-bin-115 #binlog日誌文件名
binlog-do-db=xxxx #這個表示只同步某個庫 (若是沒有此項,表示同步全部的庫,我沒有配置此選項)
/etc/init.d/mysqld restart #配置完成後重啓數據庫
grant replication slave on *.* to 'test'@'192.168.1.118' identified by 'Mysql.8899'; #受權給從服務器192.168.1.118使用test帳號及密碼Mysql.8899鏈接主服務器11五、記得FLUSH PRIVILEGES;一下
show master status; #查看主服務器的狀態 file,position這兩個值頗有用。要放到slave配置中(mysql-bin-115.00000一、419)
二、配置從庫服務器118的my.cnf文件
vi /etc/my.cnf
server-id = 118 #設置從服務器的ID
innodb_flush_log_at_trx_commit = 2 #這個仍是默認已經配置了
sync_binlog = 1 #開啓binlog日誌同步功能
log_bin = mysql-bin-118 #binlog日誌文件名
/etc/init.d/mysqld restart #重啓數據庫
change master to master_host='192.168.1.115',master_user='test',master_password='Mysql.8899',master_log_file='mysql-bin-115.000001',master_log_pos=419; 進入數據庫,指定master
start slave; #開啓從庫
show slave status \G; #查看從庫狀態:Slave_IO_Running、Slave_SQL_Running都爲Yes表示配置成功
三、驗證:在主庫上建立一個庫,再在從庫上刷新查看是否同步建立
我這裏在主上建立了一個testzhu,在從上也看到了testzhu。OK!打完收工
***************讀寫分離配置***************
概述
Amoeba是一個以MySQL爲底層數據存儲,並對應用提供MySQL協議接口的proxy。它集中地響應應用的請求,依據用戶事先設置的規則,將SQL請求發送到特定的數據庫上執行。
基於此能夠實現負載均衡、讀寫分離、高可用性等需求。與MySQL官方的MySQL Proxy相比,做者強調的是amoeba配置的方便(基於XML的配置文件,用SQLJEP語法書寫規則,比基於lua腳本的MySQL Proxy簡單)。
Amoeba至關於一個SQL請求的路由器,目的是爲負載均衡、讀寫分離、高可用性提供機制,而不是徹底實現它們。用戶須要結合使用MySQL的 Replication等機制來實現副本同步等功能。
amoeba對底層數據庫鏈接管理和路由實現也採用了可插撥的機制,第三方能夠開發更高級的策略類來替代做者的實現。這個程序整體上比較符合KISS原則的思想
優點
Amoeba主要解決如下問題:
a). 數據切分後複雜數據源整合
b). 提供數據切分規則並下降數據切分規則給數據庫帶來的影響
c). 下降數據庫與客戶端鏈接
d). 讀寫分離路由
不足
a)、目前還不支持事務
b)、暫時不支持存儲過程
c)、不適合從amoeba導數據的場景或者對大數據量查詢的query並不合適(好比一次請求返回10w以上甚至更多數據的場合)
d)、暫時不支持分庫分表,amoeba目前只作到分數據庫實例,每一個被切分的節點須要保持庫表結構一致
***********環境準備**********
Amoeba:192.168.1.190
MySQL主(masterDB):192.168.1.129
MySQL從(slaveDB) :192.168.1.118
以上都是虛擬機centos7,mysql版本是5.6.42
一、配置Java環境
(1)安裝java
Amoeba框架是居於JDK1.5開發的,採用了JDK1.5的特性,因此還須要安裝java環境,建議使用javaSE1.5以上的JDK版本
先去官網下載:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,我這裏選擇的是jdk-8u191-linux-x64.rpm
(2)設置java環境變量
vim /etc/profile
JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
JRE_HOME=/usr/java/jdk1.8.0_191-amd64/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
(3)從新加載配置文件
source /etc/profile
(4)測試Java是否安裝成功
java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)
二、安裝Amoeba
(1)下載最新版本的Amoeba,我這裏下載的是amoeba-mysql-3.0.5-RC-distribution.zip。Amoeba安裝很是簡單,直接解壓便可使用,這裏將Amoeba解壓到/usr/local/amoeba目錄下,這樣就安裝完成了
下載地址:https://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/3.x/
(2)解壓到/usr/local/下,並查看目錄和文件是否正確
/usr/local/amoeba-mysql-3.0.5-RC 這是個人目錄,如下是目錄下的詳細狀況
(3)配置Amoeba
Amoeba的配置文件在本環境下位於/usr/local/amoeba-mysql-3.0.5-RC/conf下,配置文件較多,可是僅僅使用讀寫分離功能,只需配置兩個文件dbServers.xml和amoeba.xml,若是須要配置ip訪問控制,還須要修改access_list.conf文件,下面首先介紹dbServers.xml
cat /usr/local/amoeba-mysql-3.0.5-RC/conf/dbServers.xml 如下是依據我虛擬機的環境作的配置
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">
<!--
Each dbServer needs to be configured into a Pool,
If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
such as 'multiPool' dbServer
-->
<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="connectionManager">${defaultManager}</property>
<property name="sendBufferSize">64</property>
<property name="receiveBufferSize">128</property>
<!-- mysql port -->
<property name="port">3306</property> #設置Amoeba要鏈接的mysql數據庫的端口,默認是3306
<!-- mysql schema -->
<property name="schema">testzhu</property> #缺省數據庫,當鏈接amoeba時,操做表必須顯式的指定數據庫名,即採用dbname.tablename的方式,不支持 use dbname指定缺省庫,由於操做會調度到各個後端dbserver
<!-- mysql user -->
<property name="user">test1</property> #設置amoeba鏈接後端數據庫服務器的帳號和密碼,所以須要在全部後端數據庫上建立該用戶,並受權amoeba服務器可鏈接
<property name="password">111111</property> #鏈接密碼
</factoryConfig>
<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property> #最大鏈接數,默認500
<property name="maxIdle">500</property> #最大空閒鏈接數
<property name="minIdle">1</property> #最新空閒鏈接數
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<dbServer name="writedb" parent="abstractServer"> #設置一個後端可寫的dbServer,這裏定義爲writedb,這個名字能夠任意命名,後面還會用到
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.1.129</property> #設置後端可寫dbserver
</factoryConfig>
</dbServer>
<dbServer name="slave" parent="abstractServer"> #設置後端可讀dbserver
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.1.118</property> #後端可讀dbserver的IP
</factoryConfig>
</dbServer>
<dbServer name="myslave" virtual="true"> #設置一個虛擬的dbserver,實際上至關於一個dbserver組,這裏將可讀的數據庫ip統一放到一個組中,將這個組的名字命名爲myslave
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property> #選擇調度算法,1表示負載均衡,2表示權重,3表示HA, 這裏選擇1
<!-- Separated by commas,such as: server1,server2,server1 -->
<property name="poolNames">slave</property> #myslave組成員,也就是上面的後端可讀dbserve
</poolConfig>
</dbServer>
</amoeba:dbServers>
(4)配置amoeba.xml文件
cat /usr/local/amoeba-mysql-3.0.5-RC/conf/amoeba.xml
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
<proxy>
<!-- service class must implements com.meidusa.amoeba.service.Service -->
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
<!-- port -->
<property name="port">8066</property> #設置amoeba監聽的端口,默認是8066
<!-- bind ipAddress -->
<!--
<property name="ipAddress">127.0.0.1</property> #監聽接口
-->
<property name="connectionFactory">
<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<property name="sendBufferSize">128</property>
<property name="receiveBufferSize">64</property>
</bean>
</property>
<property name="authenticateProvider">
<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
提供客戶端鏈接amoeba時須要使用下面設定的帳號 (這裏的帳號密碼和amoeba鏈接後端數據庫服務器的密碼無關)
<property name="user">root</property>
<property name="password">123456</property>
<property name="filter">
<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>
</service>
<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
<!-- proxy server client process thread size -->
<property name="executeThreadSize">128</property>
<!-- per connection cache prepared statement size -->
<property name="statementCacheSize">500</property>
<!-- default charset -->
<property name="serverCharset">utf8</property>
<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</runtime>
</proxy>
<!--
Each ConnectionManager will start as thread
manager responsible for the Connection IO read , Death Detection
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>
<!-- default using file loader -->
<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>
<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleLoader">
<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">writedb</property> #設置amoeba默認的池,這裏設置爲writedb
<!-- #這裏要刪掉
<property name="writePool">writedb</property> #這兩個選項默認是註銷掉的,須要取消註釋(刪掉上面的<!--和下面的-->),這裏用來指定前面定義好的倆個讀寫池
<property name="readPool">myslave</property>
--> #這裏要刪掉
<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>
(5)分別在masterdb和slavedb上爲amoedb受權
use mysql;
GRANT ALL ON testzhu.* TO test1@'192.168.1.190' IDENTIFIED BY '111111';
flush privileges;
(6)/usr/local/amoeba-mysql-3.0.5-RC/bin/launcher 啓動amoeba,可是,可是,有報錯
The stack size specified is too small, Specify at least 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit
vi /usr/local/amoeba-mysql-3.0.5-RC/jvm.properties 改jvm的配置
改爲:JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"
原爲:JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss196k -XX:PermSize=16m -XX:MaxPermSize=96m"
/usr/local/amoeba-mysql-3.0.5-RC/bin/launcher start 再次啓動無報錯,端口8066和進程均正常啓動
(7)測試讀寫分離是否成功
https://www.cnblogs.com/liuyisai/p/6009379.html 明天繼續!