Mycat - 實現數據庫的讀寫分離與高可用

前言

　　開心一刻

　　　　上語文課，不當心睡着了，坐在邊上的同桌忽然叫醒了我，並小聲說道：「讀課文第三段」。我立馬起身大聲讀了起來。正在黑板寫字的老師嚇了一跳，老師鬱悶的看着我，問道：「同窗有什麼問題嗎？」，我貌似知道了什麼，蛋定的說了一句：「這段寫的真好！我給大夥念念！」，老師還較真了：「你說說看，好在哪裏？」，頓時我就無語了，臉黑着望向了同桌了，心想着：「這是個畜生啊！」

 

　　

　　路漫漫其修遠兮，吾將上下而求索！

　　github：https://github.com/youzhibing

　　碼雲(gitee)：https://gitee.com/youzhibing

前情回顧

　　mysql5.7.18的安裝與主從複製中講到了基於mysql5.7.18的主從複製結構的搭建，比較簡單，只要細心點，很容易搭建成功。

　　spring集成mybatis實現mysql讀寫分離從代碼層面實現了讀寫分離（實現方式：註解+aop），須要配置兩個數據源：masterDataSource、slaveDataSource，分別針對主從數據庫，另外還須要在代碼層面明確指定用哪一個數據源。會增大代碼量（雖然只是增長一個註解），而且耦合在代碼中不利於拓展與後續維護，一旦進行修改就須要從新編譯打包，最嚴重的是若是數據庫宕機了，應用就會拋異常，徹底不能正常服務了。那麼有沒有其餘層面的更優方案呢？確定是有的，咱們能夠從數據庫的層面來實現讀寫分離，應用代碼不感知鏈接的是什麼數據庫，按平時單庫的方式處理便可，具體實現咱們往下看。

mysql主從實現

　　Mycat不負責任何的數據同步問題，mysql的主從複製還得從mysql層面來實現；若是沒有實現mysql的主從複製，後文就都成了。

　　mysql的主從複製是實現讀寫分離的基礎，具體的搭建過程請參考：mysql5.7.18的安裝與主從複製，本文就不展現詳細的搭建過程了。個人mysql主從信息以下

　　　　master:192.168.1.210；slave:192.168.1.211； 須要複製的數據庫：mycat_db

Mycat搭建

　　Mycat是什麼？是數據庫中間件，介於數據庫與應用之間，進行數據處理與交互的中間件服務，能夠簡單的理解成數據庫代理，咱們的應用只須要與數據庫中間件交互，而無需關注複雜的數據庫部署。

　　如上圖所示，數據被分到多個分片數據庫後，應用若是須要讀取數據，就須要處理多個數據源的數據。若是沒有數據庫中間件，那麼應用將直接面對分片集羣，數據源切換、事務處理、數據聚合都須要在應用層直接處理，本來該是專一於業務的應用，將會花大量的工做來處理分片後的問題，最重要的是每一個應用處理將是徹底的重複造輪子。因此有了數據庫中間件，應用只須要關注業務處理，大量的通用的數據聚合、事務、數據源切換都由數據庫中間件來處理。更多Mycat信息，請查閱《Mycat權威指南》。

　　192.168.1.212上搭建Mycat

　　　　JDK的安裝

　　　　　　Mycat依賴jdk，咱們須要先安裝jdk，必須是JDK7或更高版本；具體安裝過程就不作展現了，你們可參考：virtualBox安裝centos，並搭建tomcat。

　　　　Mycat安裝

　　　　　　安裝包：Mycat-server-1.6.6.1-release-20181031195535-linux.tar，在/opt目錄下

　　　　　　　　[root@centos212 opt]# cp Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz -C /usr/local
　　　　　　　　[root@centos212 local]# useradd mycat
　　　　　　　　[root@centos212 local]# chown -R mycat:mycat /usr/local/mycat
　　　　　　　　[root@centos212 local]# passwd mycat　　

　　　　　　修改mycat內存配置
　　　　　　　　個人linux虛擬機配置的內存大小是1GB，你們須要根據本身的實際狀況進行配置

　　　　　　　　[root@centos212 local]# vi mycat/conf/wrapper.conf

wrapper.java.additional.10=-Xmx4G    (大約在36行)
wrapper.java.additional.11=-Xms1G
改爲
wrapper.java.additional.10=-Xmx1G
wrapper.java.additional.11=-Xms256M

　　　　　　配置hostname（若已配置則忽略）　　　　　　　

　　　　　　　　[root@centos212 local]# vi /etc/sysconfig/network
　　　　　　　　　　追加一行：HOSTNAME=你的主機名(xxxx)，個人主機名是centos212
　　　　　　　　[root@centos212 local]# vi /etc/hosts
　　　　　　　　　　在127.0.0.1和::1末尾追加你的主機名(xxxx),以下圖所示，

　　　　　　將MyCat配置到環境變量中

　　　　　　　　[root@centos212 local]# vi /etc/profile

　　　　　　　　增長以下內容　　　　　　　　　

　　　　　　　　　　MYCAT_HOME=/usr/local/mycat
　　　　　　　　　　PATH=$MYCAT_HOME/bin:$PATH

　　　　　　　　保存後退出，執行source命令使配置生效

　　　　　　　　　　[root@centos212 local]# source /etc/profile

　　　　　　配置mycat

　　　　　　　　server.xml和rule.xml先不修改，用默認的便可；只須要簡單配置下schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
    </schema>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
        /> -->
    <dataNode name="dn1" dataHost="localhost1" database="test_db" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.1.210:3306" user="root" password="123456" />
    </dataHost>
</mycat:schema>

　　　　　　　　默認有兩個帳號能夠鏈接mycat的TESTDB，root:123456和user:user（在server.xml中），user帳號只有只讀權限。

　　　　　　啓動mycat

 　　　　　　　　[root@centos212 local]# mycat start

　　搭建結果展現

　　　　能夠看到，經過mycat咱們成功往192.168.1.210的test_db庫中建立了一張tbl_user表。

mysql讀寫分離、高可用實現

　　本文不涉及複雜的數據庫部署，只是簡單的mysql主從部署（單主單從），Mycat實現mysql的讀寫分離與高可用；mysql主從複製已經搭建好，Mycat也已經搭建好，剩下的就是配置Mycat，將Mycat與咱們的mysql整合起來，結構圖以下

　　如圖所示，writeHost表示主節點，readHost表示從節點，Mycat內部按期對一個dataHost裏全部的writeHost與readHost節點發起心跳檢測（writeHost與readHost均可以配置多個，至於數據同步的問題則須要咱們從mysql層面實現了，Mycat並不提供數據同步的支持，本文只講mysql一主一從），正常狀況下，Mycat會將第一個writeHost做爲寫節點，全部的DML SQL會發送給此節點，若Mycat開啓了讀寫分離，則Select SQL會根據讀寫分離策略發往readHost(+writeHost)執行。當一個dataHost裏面配置了多個writeHost時，若是第一個writeHost宕機，則Mycat會在默認的3次心跳檢查失敗後，自動切換到下一個可用的writeHost，以此類推。

　　這存在一個問題，就是當宕機的writeHost恢復後，怎麼從新加入Mycat，要不要恢復爲原來的寫節點？ 最佳建議方式是：保持現有狀態不變，改旗易幟，恢復後的mysql節點做爲從節點，跟隨新的主節點，從新配置主從同步，原來跟隨該節點作同步的從節點也一樣換帥，從新配置同步源，這些節點的數據手工完成同步後，再加入Mycat裏。

　　配置Mycat，實現mysql讀寫分離與高可用

　　　　此種需求下，Mycat的配置很是簡單，不用針對每一個表進行配置，只須要在schema.xml中的元素上增長dataNode="defaultDN"屬性，並配置此dataNode對應的真實物理數據庫的database，而後dataHost開啓讀寫分離功能便可。具體配置以下，server.xml和rule.xml先不修改，用默認的便可；只須要簡單配置下schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
    </schema>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
        /> -->
    <dataNode name="dn1" dataHost="localhost1" database="mycat_db" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.1.210:3306" user="root" password="123456">
            <readHost host="hostS1" url="192.168.1.211:3306" user="root" password="123456" />    <!-- 讀寫分離; 寫走hostM1,讀走hostS1; hostM1宕機了, hostS1也不可用 -->
        </writeHost>
        <writeHost host="hostM2" url="192.168.1.211:3306" user="root" password="123456" /> <!-- 高可用,hostM1宕機了, hostM2頂上 -->
    </dataHost>
</mycat:schema>

　　　　重啓mycat：[root@centos212 logs]# mycat restart，mycat數據庫TESTDB內容以下

　　測試結果展現

　　　　讀寫分離

　　　　　　通常狀況，查詢會走slave節點，其餘走master節點，對master節點數據庫的增、刪、改操做最終會同步到slave節點，但這個同步所須要的時間很差掌握（網絡延時等因素），若是延時太長，咱們新增一條數據後當即去查詢，頗有可能會查詢不到剛新增的的數據；若是對數據的實時性要求比較高的查詢，咱們能夠強制查詢走master節點，以下所示

　　　　　　　　強制走master：/*!mycat:db_type=master*/ select * from tbl_user；強制走slave：/*!mycat:db_type=slave*/ select * from tbl_user

　　　　　　另外咱們能夠配置mycat，根據主從延時時長來決定查詢走master仍是slave，具體配置可查閱《Mycat權威指南》。

　　　　　　讀寫分離示例以下：

　　　　　　能夠看到，通常查詢走的是slave；增、刪、改走master，而後同步到slave；咱們也能夠強制走master，仍是slave。示例中我手動的將slave中的王五改爲了王五_1，是爲了更好的展現查詢請求是走的master仍是slave，真實狀況是不會出現這種狀況的。

　　　　高可用

　　　　　　咱們手動停掉master上的mysql服務，看看mycat能不能自動的切換到下一個writeHost，示例以下

　　　　　　mycat將master從hostM1切換到hostM2須要必定的時間，切換過程當中若是強制從master操做，會拋出鏈接異常（java.net.ConnectException: 拒絕鏈接），這是屬於正常狀況。當切換完成以後，就能夠正常操做mycat了，而咱們的操做方式無需作任何改變（應用無需作任何變化，仍按以前的方式訪問mycat便可）。

　　　　　　宕機的master節點修復後，如何從新加入mycat，這個問題在前面已經講過，該節點及其readHost節點所有以slave的形式加入到其餘writeHost的readHost中，修改schema.xml，而不要去修改dnindex.properties，另外還得從mysql層面修改同步源。

總結

　　一、數據的同步在mysql層面實現的，mycat不負責任何的數據庫同步；

　　二、mycat的搭建比較簡單，但也有一些注意點：依賴JDK以及其版本，hostname配置等等。期間若是遇到什麼問題，儘可能百度，就不要google了，Mycat是中國製造，百度搜索的資料更全；

　　三、數據庫的讀寫分離是mycat最經常使用的場景之一，配置比較簡單，細心一點，實現起來應該不難； 

　　四、讀寫分離每每還伴隨着高可用，一樣mycat也支持mysql的高可用，可以自動的進行master的切換；

　　五、關於mycat自身的高可用與負載均衡，請上飛機：Mycat - 高可用與負載均衡實現，滿滿的乾貨！；

參考

　　《Mycat實戰指南》