數據庫讀寫分離、分表分庫——用Mycat

轉：     https://www.cnblogs.com/joylee/p/7513038.html

系統開發中，數據庫是很是重要的一個點。除了程序的自己的優化，如：SQL語句優化、代碼優化，數據庫的處理自己優化也是很是重要的。主從、熱備、分表分庫等都是系統發展早晚會遇到的技術問題問題。Mycat是一個廣受好評的數據庫中間件，已經在不少產品上進行使用了。但願經過這篇文章的介紹，能學會Mycat的使用。

安裝

Mycat官網：http://www.mycat.io/
能夠了解下Mycat的背景和應用狀況，這樣使用起來比較有信心。

Mycat下載地址：http://dl.mycat.io/
官網有個文檔，屬於詳細的介紹，初次入門，看起來比較花時間。

下載：
建議你們選擇 1.6-RELEASE 版本，畢竟是比較穩定的版本。

安裝：
根據不一樣的系統選擇不一樣的版本。包括linux、windows、mac,做者考慮仍是很是周全的，固然，也有源碼版的。（ps:源碼版的下載後，只要配置正確，就能夠正常運行調試，這個贊一下。）

Mycat的安裝其實只要解壓下載的目錄就能夠了，很是簡單。
安裝完成後，目錄以下：

目錄	說明
bin	mycat命令，啓動、重啓、中止等
catlet	catlet爲Mycat的一個擴展功能
conf	Mycat 配置信息,重點關注
lib	Mycat引用的jar包，Mycat是java開發的
logs	日誌文件，包括Mycat啓動的日誌和運行的日誌。

配置

Mycat的配置文件都在conf目錄裏面，這裏介紹幾個經常使用的文件：

文件	說明
server.xml	Mycat的配置文件，設置帳號、參數等
schema.xml	Mycat對應的物理數據庫和數據庫表的配置
rule.xml	Mycat分片（分庫分表）規則

Mycat的架構其實很好理解，Mycat是代理，Mycat後面就是物理數據庫。和Web服務器的Nginx相似。對於使用者來講，訪問的都是Mycat，不會接觸到後端的數據庫。
咱們如今作一個主從、讀寫分離，簡單分表的示例。結構以下圖：

服務器	IP	說明
Mycat	192.168.0.2	mycat服務器，鏈接數據庫時，鏈接此服務器
database1	192.168.0.3	物理數據庫1，真正存儲數據的數據庫
database2	192.168.0.4	物理數據庫2，真正存儲數據的數據庫

Mycat做爲主數據庫中間件，確定是與代碼弱關聯的，因此代碼是不用修改的，使用Mycat後，鏈接數據庫是不變的，默認端口是8066。鏈接方式和普通數據庫同樣，如：jdbc:mysql://192.168.0.2:8066/

server.xml

示例

<user name="test"> <property name="password">test</property> <property name="schemas">lunch</property> <property name="readOnly">false</property> <!-- 表級 DML 權限設置 --> <!--   <privileges check="false">  <schema name="TESTDB" dml="0110" >  <table name="tb01" dml="0000"></table>  <table name="tb02" dml="1111"></table>  </schema>  </privileges>   --> </user>

重點關注下面這段，其餘默認便可。

參數	說明
user	用戶配置節點
--name	登陸的用戶名，也就是鏈接Mycat的用戶名
--password	登陸的密碼，也就是鏈接Mycat的密碼
--schemas	數據庫名，這裏會和schema.xml中的配置關聯，多個用逗號分開，例如須要這個用戶須要管理兩個數據庫db1,db2，則配置db1,dbs
--privileges	配置用戶針對表的增刪改查的權限，具體見文檔吧

我這裏配置了一個帳號test 密碼也是test,針對數據庫lunch,讀寫權限都有，沒有針對表作任何特殊的權限。

schema.xml
schema.xml是最主要的配置項，首先看個人配置文件。

<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 數據庫配置，與server.xml中的數據庫對應 --> <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" /> </schema> <!-- 分片配置 --> <dataNode name="dn1" dataHost="test1" database="lunch" /> <dataNode name="dn2" dataHost="test2" database="lunch" /> <!-- 物理數據庫配置 --> <dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> </writeHost> </dataHost> <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema>

參數	說明
schema	數據庫設置，此數據庫爲邏輯數據庫，name與server.xml中schema對應
dataNode	分片信息，也就是分庫相關配置
dataHost	物理數據庫，真正存儲數據的數據庫

每一個節點的屬性逐一說明：

schema:

屬性	說明
name	邏輯數據庫名，與server.xml中的schema對應
checkSQLschema	數據庫前綴相關設置，建議看文檔，這裏暫時設爲folse
sqlMaxLimit	select 時默認的limit，避免查詢全表

table:

屬性	說明
name	表名，物理數據庫中表名
dataNode	表存儲到哪些節點，多個節點用逗號分隔。節點爲下文dataNode設置的name
primaryKey	主鍵字段名，自動生成主鍵時須要設置
autoIncrement	是否自增
rule	分片規則名，具體規則下文rule詳細介紹

dataNode

屬性	說明
name	節點名，與table中dataNode對應
datahost	物理數據庫名，與datahost中name對應
database	物理數據庫中數據庫名

dataHost

屬性	說明
name	物理數據庫名，與dataNode中dataHost對應
balance	均衡負載的方式
writeType	寫入方式
dbType	數據庫類型
heartbeat	心跳檢測語句，注意語句結尾的分號要加。

應用場景

數據庫分表分庫

配置以下：

<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 數據庫配置，與server.xml中的數據庫對應 --> <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" /> </schema> <!-- 分片配置 --> <dataNode name="dn1" dataHost="test1" database="lunch" /> <dataNode name="dn2" dataHost="test2" database="lunch" /> <!-- 物理數據庫配置 --> <dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> </writeHost> </dataHost> <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema>

我在192.168.0.二、192.168.0.3均有數據庫lunch。
lunchmenu、restaurant、userlunch、users這些表都只寫入節點dn1，也就是192.168.0.2這個服務，而dictionary寫入了dn一、dn2兩個節點，也就是192.168.0.二、192.168.0.3這兩臺服務器。分片的規則爲：mod-long。
主要關注rule屬性，rule屬性的內容來源於rule.xml這個文件，Mycat支持10種分表分庫的規則，基本能知足你所須要的要求，這個必須贊一個，其餘數據庫中間件好像都沒有這麼多。
table中的rule屬性對應的就是rule.xml文件中tableRule的name,具體有哪些分表和分庫的實現，建議仍是看下文檔。我這裏選擇的mod-long就是將數據平均拆分。由於我後端是兩臺物理庫，因此rule.xml中mod-long對應的function count爲2，見下面部分代碼：

<tableRule name="mod-long"> <rule> <columns>id</columns> <algorithm>mod-long</algorithm> </rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByMod"> <!-- how many data nodes --> <property name="count">2</property> </function>

數據庫讀寫分離

配置以下：

<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <!-- 數據庫配置，與server.xml中的數據庫對應 --> <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1" /> </schema> <!-- 分片配置 --> <dataNode name="dn1" dataHost="test1" database="lunch" /> <!-- 物理數據庫配置 --> <dataHost name="test1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> <readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456"> </readHost> </writeHost> </dataHost> </mycat:schema>

這樣的配置與前一個示例配置改動以下：
刪除了table分配的規則,以及datanode只有一個
datahost也只有一臺，可是writehost總添加了readhost,balance改成1，表示讀寫分離。
以上配置達到的效果就是102.168.0.2爲主庫，192.168.0.3爲從庫。

注意：Mycat主從分離只是在讀的時候作了處理，寫入數據的時候，只會寫入到writehost，須要經過mycat的主從複製將數據複製到readhost，這個問題當時候我糾結了很久，數據寫入writehost後，readhost一直沒有數據，覺得是本身配置的問題，後面才發現Mycat就沒有實現主從複製的功能，畢竟數據庫自己自帶的這個功能纔是最高效穩定的。

至於其餘的場景，如同時主從和分表分庫也是支持的了，只要瞭解這個實現之後再去修改配置，都是能夠實現的。而熱備及故障專業官方推薦使用haproxy配合一塊兒使用，你們能夠試試。

使用

Mycat的啓動也很簡單，啓動命令在Bin目錄：

##啓動 mycat start ##中止 mycat stop ##重啓 mycat restart

若是在啓動時發現異常，在logs目錄中查看日誌。

• wrapper.log 爲程序啓動的日誌，啓動時的問題看這個
• mycat.log 爲腳本執行時的日誌，SQL腳本執行報錯後的具體錯誤內容,查看這個文件。mycat.log是最新的錯誤日誌，歷史日誌會根據時間生成目錄保存。

mycat啓動後，執行命令不成功，可能實際上配置有錯誤，致使後面的命令沒有很好的執行。

Mycat帶來的最大好處就是使用是徹底不用修改原有代碼的，在mycat經過命令啓動後，你只須要將數據庫鏈接切換到Mycat的地址就能夠了。以下面就能夠進行鏈接了：

mysql -h192.168.0.1 -P8806 -uroot -p123456

鏈接成功後能夠執行sql腳本了。
因此，能夠直接經過sql管理工具（如：navicat、datagrip）鏈接，執行腳本。我一直用datagrip來進行平常簡單的管理，這個很方便。

Mycat還有一個管理的鏈接，端口號是9906.

mysql -h192.168.0.1 -P9906 -uroot -p123456

鏈接後能夠根據管理命令查看Mycat的運行狀況，固然，喜歡UI管理方式的人，能夠安裝一個Mycat-Web來進行管理，有興趣自行搜索。

簡而言之，開發中使用Mycat和直接使用Mysql機會沒有差異。

常見問題

使用Mycat後總會遇到一些坑，我將本身遇到的一些問題在這裏列一下，但願能與你們有共鳴：

• Mycat是否是配置之後，就能徹底解決分表分庫和讀寫分離問題？
  Mycat配合數據庫自己的複製功能，能夠解決讀寫分離的問題，可是針對分表分庫的問題，不是完美的解決。或者說，至今爲止，業界沒有完美的解決方案。
  分表分庫寫入能完美解決，可是，不能完美解決主要是聯表查詢的問題，Mycat支持兩個表聯表的查詢，多餘兩個表的查詢不支持。 其實，不少數據庫中間件關於分表分庫後查詢的問題，都是須要本身實現的，並且節本都不支持聯表查詢，Mycat已經算作地很是先進了。
  分表分庫的後聯表查詢問題，你們經過合理數據庫設計來避免。

• Mycat支持哪些數據庫，其餘平臺如 .net、PHP能用嗎？
  官方說了，支持的數據庫包括MySQL、SQL Server、Oracle、DB二、PostgreSQL 等主流數據庫，很贊。
  儘可能用Mysql,我試過SQL Server，會有些小問題，由於部分語法有點差別。

• Mycat 非JAVA平臺如 .net、PHP能用嗎？能夠用。這一點MyCat作的也很棒。