高可用架構篇--MyCat在MySQL主從複製基礎上實現讀寫分離

實戰操做可參考：http://www.roncoo.com/course/view/3117ffd4c74b4a51a998f9276740dcfb

1、環境

操做系統：CentOS-6.6-x86_64-bin-DVD1.iso

JDK版本：jdk1.7.0_45

MyCat版本：Mycat-server-1.4-release-20151019230038-linux.tar.gz

MyCat節點IP：192.168.1.203      主機名：edu-mycat-01  主機配置：4核CPU、4G內存

MySQL版本：mysql-5.6.26.tar.gz

主節點IP：192.168.1.205     主機名：edu-mysql-01   主機配置：4核CPU、4G內存

從節點IP：192.168.1.206     主機名：edu-mysql-02   主機配置：4核CPU、4G內存

 

2、依賴課程

《高可用架構篇--第13節--MySQL源碼編譯安裝（CentOS-6.6+MySQL-5.6）》

《高可用架構篇--第14節--MySQL主從複製的配置（CentOS-6.6+MySQL-5.6）》

注意：上一節課中講到的MySQL主從複製配置，在用MyCat作主從讀寫分離或其結合實際項目場景應用中，主從複製配置還須要按實際需求狀況進行調整。

（調整後的主從數據庫my.cnf配置文件，隨視頻教程壓縮包提供）

 

3、MyCat介紹  （ MyCat官網：http://mycat.org.cn/ ）

MyCat的讀寫分離是基於後端MySQL集羣的主從同步來實現的，而MyCat提供語句的分發功能。MyCat1.4開始支持MySQL主從複製狀態綁定的讀寫分離機制，讓讀更加安全可靠。

                                              

 

4、MyCat的安裝

一、設置MyCat的主機名和IP與主機名的映射

# vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=edu-mycat-01

# vi /etc/hosts

127.0.0.1 edu-mycat-01

192.168.1.203 edu-mycat-01

192.168.1.205 edu-mysql-01

192.168.1.206 edu-mysql-02

 

二、由於MyCat是用Java開發的，所以MyCat運行須要安裝JDK（準確來講是JRE就夠了），而且須要JDK1.7或以上版本

# vi /etc/profile

## java env

export JAVA_HOME=/usr/local/java/jdk1.7.0_72

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

# source /etc/profile

# java -version

 

三、建立mycat用戶並設置密碼

# useradd mycat

# passwd mycat

 

四、上傳安裝包 Mycat-server-1.4-release-20151019230038-linux.tar.gz 到 MyCat服務器中的/home/mycat目錄，並解壓並移動到 /usr/local/mycat目錄

$ tar -zxvf Mycat-server-1.4-release-20151019230038-linux.tar.gz

 

$ su root

Password:

# mv /home/mycat/mycat  /usr/local/

# cd /usr/local/mycat/

# ll

 

 

五、設置MyCat的環境變量

# vi /etc/profile

## mycat env

export MYCAT_HOME=/usr/local/mycat

export PATH=$PATH:$MYCAT_HOME/bin

# source /etc/profile

 

5、配置MyCat

一、在配置MyCat前，請確認MySQL的主從複製安裝配置已完成並正常運行。MySQL主從數據的同步在MySQL中配置，MyCat不負責數據同步的問題。

補充：

(1) MySQL主從複製配置中，若是涉及到函數或存儲過程的同步複製，須要在/etc/my.cnf中的[mysqld]段中增長配置log_bin_trust_function_creators=true 或在客戶端中設置 set global log_bin_trust_function_creators = 1;

(2) 若是要作讀寫分離下的主從切換，那麼從節點也有可能會變爲寫節點，所以從節點就不能設置爲只讀 read_only=1 。

(3) Linux版本的MySQL，須要設置爲MySQL大小寫不敏感，不然可能會發生找不到表的問題。可在/etc/my.cnf的[mysqld]段中增長lower_case_table_names=1 。

 

二、配置MyCat的schema.xml

schema.xml是MyCat最重要的配置文件之一，用於設置MyCat的邏輯庫、表、數據節點、dataHost等內容，

[mycat@edu-mycat-01 conf]$ cd /usr/local/mycat/conf/

[mycat@edu-mycat-01 conf]$ vi schema.xml

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://org.opencloudb/">

      <!-- 定義MyCat的邏輯庫，邏輯庫的概念與MySQL中的 database 概念相同 -->

      <!-- schema name="rc_schema1" checkSQLschema="false" sqlMaxLimit="100" dataNode="rc_dn1"></schema -->

<!--schema name="pay_schema1" checkSQLschema="false" sqlMaxLimit="100" dataNode="pay_dn1"></schema-->

      <schema name="rc_schema2" checkSQLschema="false" sqlMaxLimit="100" dataNode="rc_dn2"></schema>

      <schema name="pay_schema2" checkSQLschema="false" sqlMaxLimit="100" dataNode="pay_dn2"></schema>

<!-- 其中checkSQLschema代表是否檢查並過濾SQL中包含schema的狀況，如邏輯庫爲 TESTDB，則可能寫爲select * from TESTDB.edu_user，此時會自動過濾TESTDB，SQL變爲select * from edu_user，若不會出現上述寫法，則能夠關閉屬性爲false -->

<!--sqlMaxLimit默認返回的最大記錄數限制，MyCat1.4版本里面，用戶的Limit參數會覆蓋掉MyCat的sqlMaxLimit默認設置-->

 

      <!-- 定義MyCat的數據節點 -->

      <!-- dataNode name="rc_dn1" dataHost="dtHost1" database="roncoo" / -->

<!-- dataNode name="pay_dn1" dataHost="dtHost1" database="edu_simple_pay" / -->

      <dataNode name="rc_dn2" dataHost="dtHost2" database="roncoo" />

      <dataNode name="pay_dn2" dataHost="dtHost2" database="edu_simple_pay" />

<!-- dataNode 中的 name 數據表示節點名稱， dataHost表示數據主機名稱， database表示該節點要路由的數據庫的名稱 -->

 

      <!-- dataHost配置的是實際的後端數據庫集羣（固然，也能夠是非集羣） -->

      <!-- 注意：schema中的每個dataHost中的host屬性值必須惟一，不然會出現主從在全部dataHost中所有切換的現象 -->

      <!-- 定義數據主機dtHost1，只鏈接到MySQL讀寫分離集羣中的Master節點，不使用MyCat託管MySQL主從切換 -->

      <!--

      <dataHost name="dtHost1" maxCon="500" minCon="20" balance="0"

           writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">

           <heartbeat>select user()</heartbeat>

           <writeHost host="hostM1" url="192.168.1.205:3306" user="root" password="www.roncoo.com" />

      </dataHost>

      -->

      <!-- 使用MyCat託管MySQL主從切換 -->

      <!-- 定義數據主機dtHost2，鏈接到MySQL讀寫分離集羣，並配置了讀寫分離和主從切換 -->

      <dataHost name="dtHost2" maxCon="500" minCon="20" balance="1"

           writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">

           <!-- 經過show slave status檢測主從狀態，當主宕機之後，發生切換，從變爲主，原來的主變爲從，這時候show slave

                 status就會發生錯誤，由於原來的主沒有開啓slave，不建議直接使用switch操做，而是在DB中作主從對調。 -->

           <heartbeat>show slave status</heartbeat>

           <!-- can have multi write hosts -->

           <writeHost host="hostM2" url="192.168.1.205:3306" user="root" password="www.roncoo.com" />

           <writeHost host="hostS2" url="192.168.1.206:3306" user="root" password="www.roncoo.com" />

      </dataHost>

      <!-- 參數balance決定了哪些MySQL服務器參與到讀SQL的負載均衡中 -->

<!-- balance="0"，爲不開啓讀寫分離，全部讀操做都發送到當前可用的writeHost上-->

      <!-- balance="1"，所有的readHost與stand by writeHost參與select語句的負載均衡-->

      <!-- balance="2"，全部讀操做都隨機的在writeHost、readHost上分發-->

      <!-- MyCat1.4版本中，若想支持MySQL一主一從的標準配置，而且在主節點宕機的狀況下，從節點還能讀取數據，則須要在MyCat裏配置爲兩個writeHost並設置balance="1" -->

      <!-- writeType="0"，全部寫操做都發送到可用的writeHost上 -->

      <!-- writeType="1"，僅僅對於galera for mysql集羣這種多主多節點都能寫入的集羣起效，此時Mycat會隨機選擇一個writeHost並寫入數據，對於非galera for mysql集羣，請不要配置writeType=1，會致使數據庫不一致的嚴重問題 -->

</mycat:schema>

MyCat1.4開始支持MySQL主從複製狀態綁定的讀寫分離機制，讓讀更加安全可靠，配置以下：

MyCat心跳檢查語句配置爲 show slave status ，dataHost 上定義兩個新屬性：switchType="2" 與 slaveThreshold="100"，此時意味着開啓MySQL主從複製狀態綁定的讀寫分離與切換機制，MyCat心跳機制經過檢測 show slave status 中的

"Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三個字段來肯定當前主從同步的狀態以及Seconds_Behind_Master主從複製時延，當Seconds_Behind_Master 大於slaveThreshold時，讀寫分離篩選器會過濾掉此Slave機器，防止讀到好久以前的舊數據，而當主節點宕機後，切換邏輯會檢查Slave上的Seconds_Behind_Master是否爲0，爲0時則表示主從同步，能夠安全切換，不然不會切換。

 

三、配置 server.xml

server.xml 主要用於設置系統變量、管理用戶、設置用戶權限等。

[wusc@edu-mycat-01 conf]$ vi server.xml

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE mycat:server SYSTEM "server.dtd">

<mycat:server xmlns:mycat="http://org.opencloudb/">

      <system>

      <property name="defaultSqlParser">druidparser</property>

<property name="charset">utf8mb4</property>

      <!-- <property name="useCompression">1</property>-->

      <!--1爲開啓mysql壓縮協議-->

      <!-- <property name="processorBufferChunk">40960</property> -->

      <!--

      <property name="processors">1</property>

      <property name="processorExecutor">32</property>

       -->

           <!--默認是65535 64K 用於sql解析時最大文本長度 -->

           <!--<property name="maxStringLiteralLength">65535</property>-->

           <!--<property name="sequnceHandlerType">0</property>-->

           <!--<property name="backSocketNoDelay">1</property>-->

           <!--<property name="frontSocketNoDelay">1</property>-->

           <!--<property name="processorExecutor">16</property>-->

           <!-- <property name="mutiNodeLimitType">1</property> 0：開啓小數量級（默認） ；1：開啓億級數據排序

                  <property name="mutiNodePatchSize">100</property> 億級數量排序批量

                 <property name="processors">32</property> <property name="processorExecutor">32</property>

                 <property name="serverPort">8066</property> <property name="managerPort">9066</property>

                 <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>

                 <property name="frontWriteQueueSize">4096</property>

<property name="processors">32</property>

           -->

      </system>

      <!-- 用戶1，對應的MyCat邏輯庫鏈接到的數據節點對應的主機爲MySQL主從複製配置中的Master節點，沒實現讀寫分離，讀寫都在該Master節點中進行  -->

      <!--

      <user name="user1">

           <property name="password">roncoo.1</property>

           <property name="schemas">rc_schema1,pay_schema1</property>

      </user>

      -->

      <!-- 用戶2，對應的MyCat邏輯庫鏈接到的數據節點對應的主機爲主從複製集羣，並經過MyCat實現了讀寫分離 -->

      <user name="user2">

           <property name="password">roncoo.2</property>

           <property name="schemas">rc_schema2,pay_schema2</property>

      </user>

      <!-- 用戶3，只讀權限-->

      <user name="user3">

           <property name="password">roncoo.3</property>

           <property name="schemas">rc_schema2,pay_schema2</property>

           <property name="readOnly">true</property>

      </user>

</mycat:server>

 

四、防火牆中打開8066和9066端口

MyCat的默認數據端口爲8066，mycat經過這個端口接收數據庫客戶端的訪問請求。

管理端口爲9066，用來接收mycat監控命令、查詢mycat運行情況、從新加載配置文件等。

[root@edu-mycat-01 mycat]# vi /etc/sysconfig/iptables

增長：

## MyCat

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8066 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9066 -j ACCEPT

重啓防火牆：

[root@edu-mycat-01 mycat]# service iptables restart

 

五、修改log日誌級別爲debug，以便經過日誌確認基於MyCat的MySQL數據庫集羣讀寫分離的數據操做狀態（能夠在正式上生產前改爲info級別）

[mycat@edu-mycat-01 conf]$ vi /usr/local/mycat/conf/log4j.xml

 

 

六、啓動MyCat

[mycat@edu-mycat-01 bin]$ cd /usr/local/mycat/bin/

(1)     控制檯啓動，這種啓動方式在控制檯關閉後，MyCat服務也將關閉，適合調試使用：

[mycat@edu-mycat-01 bin]$ ./mycat console

(2) 能夠採用如下後臺啓動的方式：

[mycat@edu-mycat-01 bin]$ ./mycat start

Starting Mycat-server...

（對應的，重啓: mycat restart ， 關閉: mycat stop ）

 

七、MyCat鏈接測試

(1)     若是本地Windows安裝有MySQL，可使用已有的mysql客戶端遠程操做MyCat

 

 

 

(2)     若是爲了方便，須要在MyCat主機上對MyCat進行操做（把MyCat當是本地MySQL來操做），能夠在MyCat節點主機上安裝MySQL客戶端：

[mycat@edu-mycat-01 bin]$ su root

[root@edu-mycat-01 bin]# yum install mysql

 

使用安裝好的mysql客戶端登陸MyCat

[mycat@edu-mycat-01 bin]$ mysql -uuser2 -proncoo.2 -h192.168.1.203 -P8066

 

 

[root@edu-mycat-01 mycat]# vi /etc/my.cnf

增長：

[client]

default-character-set=utf8

保存後再查詢，亂碼問題解決，以下：

 

 

(3)     使用第三方MySQL管理客戶端鏈接MyCat測試（navicat支持，MySQL-Front兼容性不太好），以navicat爲例：

 

 

 

八、讀寫分離測試

(1) 監聽MyCat日誌

[mycat@edu-mycat-01 ~]$ cd /usr/local/mycat/logs/

[mycat@edu-mycat-01 logs]$ tail -f mycat.log

 

(2)     讀測試

$ mysql -uuser2 -proncoo.2 -h192.168.1.203 -P8066

mysql> show databases;

 

mysql> use rc_schema2;

 

mysql> show tables;

 

mysql> select * from edu_user;

 

執行上面的查詢語句，此時對應的MyCat日誌信息以下：

 

屢次執行 select * from edu_user 語句，MyCat打印出來的日誌信息顯示讀操做請求都是路由到Slave節點（192.168.1.206）。

 

(2) 寫測試

mysql> insert into edu_user (userName, pwd) values('吳水成', 'roncoo.com');

 

執行上面的新增插入語句後，此時對應的MyCat日誌信息以下：

 

屢次執行以上插入語句，發現新增數據都是從 Master節點（192.168.1.205）插進入的，而且Slave節點經過Binlog同步了Master節點中的數據。

  

 

綜上，基於MyCat的讀寫分離集羣配置成功。 

 

接下來計劃課程：

MyCat讀寫分離集羣的主從容錯（切換）、恢復；

MyCat的高可用集羣 HAProxy + Keepalived + MyCat；