MySQL主從及讀寫分離配置

《《MySQL主從又叫作Replication、AB複製。簡單講就是A和B兩臺機器作主從後,在A上寫數據,B也會跟着寫數據,二者數據實時同步》》html

MySQL主從是基於binlog的,主上須開啓binlog才能進行主從。 主從過程大體有3個步驟
1)主將更改操做記錄到binlog裏
2)從將主的binlog事件(sql語句)同步到從本機上並記錄在relaylog裏
3)從根據relaylog裏面的sql語句按順序執行java

主上有一個log dump線程,用來和從的I/O線程傳遞binlog;從上有兩個線程,其中I/O線程用來同步主的binlog並生成relaylog,另一個SQL線程用來把relaylog裏面的sql語句執行一遍;兩種狀況:一種是作備份用,一種是做爲讀用mysql

環境準備:虛擬機裝好,oneinstack部署好MySQL;主從服務器的Linux、數據庫版本都一致;主的IP是192.168.1.11五、從的IP是192.168.1.118        linux

閒話少說,開整!!!!算法

 

***********主從配置***********
sql

一、配置主庫服務器115的my.cnf文件數據庫

vi /etc/my.cnfvim

server-id = 115   #設置主服務器的ID後端

innodb_flush_log_at_trx_commit = 2  #這個默認已經配置了centos

sync_binlog = 1  #開啓binlog日誌同步功能

log_bin = mysql-bin-115   #binlog日誌文件名

binlog-do-db=xxxx   #這個表示只同步某個庫 (若是沒有此項,表示同步全部的庫,我沒有配置此選項)

/etc/init.d/mysqld restart     #配置完成後重啓數據庫

grant replication slave on *.* to 'test'@'192.168.1.118' identified by 'Mysql.8899';  #受權給從服務器192.168.1.118使用test帳號及密碼Mysql.8899鏈接主服務器11五、記得FLUSH PRIVILEGES;一下

show master status;   #查看主服務器的狀態 file,position這兩個值頗有用。要放到slave配置中(mysql-bin-115.00000一、419)

 

二、配置從庫服務器118的my.cnf文件

vi /etc/my.cnf

server-id = 118  #設置從服務器的ID

innodb_flush_log_at_trx_commit = 2  #這個仍是默認已經配置了

sync_binlog = 1    #開啓binlog日誌同步功能

log_bin = mysql-bin-118  #binlog日誌文件名

/etc/init.d/mysqld restart  #重啓數據庫

change master to master_host='192.168.1.115',master_user='test',master_password='Mysql.8899',master_log_file='mysql-bin-115.000001',master_log_pos=419;   進入數據庫,指定master

start slave;  #開啓從庫

show slave status \G;   #查看從庫狀態:Slave_IO_Running、Slave_SQL_Running都爲Yes表示配置成功

 

三、驗證:在主庫上建立一個庫,再在從庫上刷新查看是否同步建立

我這裏在主上建立了一個testzhu,在從上也看到了testzhu。OK!打完收工

 

***************讀寫分離配置***************

概述

Amoeba是一個以MySQL爲底層數據存儲,並對應用提供MySQL協議接口的proxy。它集中地響應應用的請求,依據用戶事先設置的規則,將SQL請求發送到特定的數據庫上執行。

基於此能夠實現負載均衡、讀寫分離、高可用性等需求。與MySQL官方的MySQL Proxy相比,做者強調的是amoeba配置的方便(基於XML的配置文件,用SQLJEP語法書寫規則,比基於lua腳本的MySQL Proxy簡單)。

Amoeba至關於一個SQL請求的路由器,目的是爲負載均衡、讀寫分離、高可用性提供機制,而不是徹底實現它們。用戶須要結合使用MySQL的 Replication等機制來實現副本同步等功能。

amoeba對底層數據庫鏈接管理和路由實現也採用了可插撥的機制,第三方能夠開發更高級的策略類來替代做者的實現。這個程序整體上比較符合KISS原則的思想

優點

Amoeba主要解決如下問題:

a). 數據切分後複雜數據源整合

b). 提供數據切分規則並下降數據切分規則給數據庫帶來的影響

c). 下降數據庫與客戶端鏈接

d). 讀寫分離路由

不足

a)、目前還不支持事務

b)、暫時不支持存儲過程

c)、不適合從amoeba導數據的場景或者對大數據量查詢的query並不合適(好比一次請求返回10w以上甚至更多數據的場合)

d)、暫時不支持分庫分表,amoeba目前只作到分數據庫實例,每一個被切分的節點須要保持庫表結構一致

 

***********環境準備**********

Amoeba:192.168.1.190

MySQL主(masterDB):192.168.1.129  

MySQL從(slaveDB)   :192.168.1.118

以上都是虛擬機centos7,mysql版本是5.6.42

 

一、配置Java環境

(1)安裝java

Amoeba框架是居於JDK1.5開發的,採用了JDK1.5的特性,因此還須要安裝java環境,建議使用javaSE1.5以上的JDK版本

先去官網下載:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,我這裏選擇的是jdk-8u191-linux-x64.rpm

(2)設置java環境變量

vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_191-amd64

JRE_HOME=/usr/java/jdk1.8.0_191-amd64/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

(3)從新加載配置文件

source  /etc/profile   

(4)測試Java是否安裝成功

java -version

java version "1.8.0_191"

Java(TM) SE Runtime Environment (build 1.8.0_191-b12)

Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

 

二、安裝Amoeba

(1)下載最新版本的Amoeba,我這裏下載的是amoeba-mysql-3.0.5-RC-distribution.zip。Amoeba安裝很是簡單,直接解壓便可使用,這裏將Amoeba解壓到/usr/local/amoeba目錄下,這樣就安裝完成了

下載地址:https://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/3.x/

(2)解壓到/usr/local/下,並查看目錄和文件是否正確

/usr/local/amoeba-mysql-3.0.5-RC      這是個人目錄,如下是目錄下的詳細狀況

(3)配置Amoeba

Amoeba的配置文件在本環境下位於/usr/local/amoeba-mysql-3.0.5-RC/conf下,配置文件較多,可是僅僅使用讀寫分離功能,只需配置兩個文件dbServers.xml和amoeba.xml,若是須要配置ip訪問控制,還須要修改access_list.conf文件,下面首先介紹dbServers.xml

cat /usr/local/amoeba-mysql-3.0.5-RC/conf/dbServers.xml        如下是依據我虛擬機的環境作的配置

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

<!--
Each dbServer needs to be configured into a Pool,
If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
such as 'multiPool' dbServer
-->

<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="connectionManager">${defaultManager}</property>
<property name="sendBufferSize">64</property>
<property name="receiveBufferSize">128</property>

<!-- mysql port -->
<property name="port">3306</property> #設置Amoeba要鏈接的mysql數據庫的端口,默認是3306

<!-- mysql schema -->
<property name="schema">testzhu</property> #缺省數據庫,當鏈接amoeba時,操做表必須顯式的指定數據庫名,即採用dbname.tablename的方式,不支持 use dbname指定缺省庫,由於操做會調度到各個後端dbserver

<!-- mysql user -->
<property name="user">test1</property> #設置amoeba鏈接後端數據庫服務器的帳號和密碼,所以須要在全部後端數據庫上建立該用戶,並受權amoeba服務器可鏈接

<property name="password">111111</property> #鏈接密碼
</factoryConfig>

<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property> #最大鏈接數,默認500
<property name="maxIdle">500</property> #最大空閒鏈接數
<property name="minIdle">1</property> #最新空閒鏈接數
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>

<dbServer name="writedb" parent="abstractServer"> #設置一個後端可寫的dbServer,這裏定義爲writedb,這個名字能夠任意命名,後面還會用到
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.1.129</property> #設置後端可寫dbserver
</factoryConfig>
</dbServer>

<dbServer name="slave" parent="abstractServer"> #設置後端可讀dbserver
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.1.118</property> #後端可讀dbserver的IP
</factoryConfig>
</dbServer>

<dbServer name="myslave" virtual="true"> #設置一個虛擬的dbserver,實際上至關於一個dbserver組,這裏將可讀的數據庫ip統一放到一個組中,將這個組的名字命名爲myslave
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property> #選擇調度算法,1表示負載均衡,2表示權重,3表示HA, 這裏選擇1

<!-- Separated by commas,such as: server1,server2,server1 -->
<property name="poolNames">slave</property> #myslave組成員,也就是上面的後端可讀dbserve
</poolConfig>
</dbServer>

</amoeba:dbServers>

(4)配置amoeba.xml文件

cat   /usr/local/amoeba-mysql-3.0.5-RC/conf/amoeba.xml

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

<proxy>

<!-- service class must implements com.meidusa.amoeba.service.Service -->
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
<!-- port -->
<property name="port">8066</property>      #設置amoeba監聽的端口,默認是8066

<!-- bind ipAddress -->
<!--
<property name="ipAddress">127.0.0.1</property>  #監聽接口
-->

<property name="connectionFactory">
<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<property name="sendBufferSize">128</property>
<property name="receiveBufferSize">64</property>
</bean>
</property>

<property name="authenticateProvider">
<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">

 

提供客戶端鏈接amoeba時須要使用下面設定的帳號 (這裏的帳號密碼和amoeba鏈接後端數據庫服務器的密碼無關)

<property name="user">root</property>

<property name="password">123456</property>

<property name="filter">
<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>

</service>

<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">

<!-- proxy server client process thread size -->
<property name="executeThreadSize">128</property>

<!-- per connection cache prepared statement size -->
<property name="statementCacheSize">500</property>

<!-- default charset -->
<property name="serverCharset">utf8</property>

<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</runtime>

</proxy>

<!--
Each ConnectionManager will start as thread
manager responsible for the Connection IO read , Death Detection
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>

<!-- default using file loader -->
<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>

<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleLoader">
<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">writedb</property>   #設置amoeba默認的池,這裏設置爲writedb

<!--   #這裏要刪掉
<property name="writePool">writedb</property>    #這兩個選項默認是註銷掉的,須要取消註釋(刪掉上面的<!--和下面的-->),這裏用來指定前面定義好的倆個讀寫池

<property name="readPool">myslave</property>
-->   #這裏要刪掉
<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>

(5)分別在masterdb和slavedb上爲amoedb受權

use mysql;

GRANT ALL ON testzhu.* TO test1@'192.168.1.190' IDENTIFIED BY '111111';

flush privileges;

(6)/usr/local/amoeba-mysql-3.0.5-RC/bin/launcher     啓動amoeba,可是,可是,有報錯

The stack size specified is too small, Specify at least 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit

vi     /usr/local/amoeba-mysql-3.0.5-RC/jvm.properties   改jvm的配置

改爲:JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"

原爲:JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss196k -XX:PermSize=16m -XX:MaxPermSize=96m"

/usr/local/amoeba-mysql-3.0.5-RC/bin/launcher start   再次啓動無報錯,端口8066和進程均正常啓動

(7)測試讀寫分離是否成功

 

https://www.cnblogs.com/liuyisai/p/6009379.html     明天繼續!

相關文章
相關標籤/搜索