MySQL讀寫分離

大型網站爲了軟解大量的併發訪問，除了在網站實現分佈式負載均衡，遠遠不夠。到了數據業務層、數據訪問層，若是仍是傳統的數據結構，或者只是單單靠一臺服務器扛，如此多的數據庫鏈接操做，數據庫必然會崩潰，數據丟失的話，後果更是 不堪設想。這時候，咱們會考慮如何減小數據庫的聯接，一方面採用優秀的代碼框架，進行代碼的優化，採用優秀的數據緩存技術如：redis，memcached,若是資金豐厚的話，必然會想到建設服務器羣，來分擔主數據庫的壓力。Ok切入今天文章主題，利用MySQL主從配置，實現讀寫分離，減輕數據庫壓力。這種方式，在現在不少網站裏都有使用，也不是什麼新鮮事情，今天總結一下，方便你們學習參考一下。

場景描述：

數據庫Master主服務器：192.168.10.130
數據庫Slave從服務器：192.168.10.131
MySQL-Proxy調度服務器：192.168.10.132

如下操做，均是在192.168.10.132即MySQL-Proxy調度服務器 上進行的。

環境的安裝與配置

mysql具體的安裝過程與上文相同。

檢查系統所需軟件包

經過 rpm -qa | grep name 的方式驗證如下軟件包是否已所有安裝。

gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libmcrypt* libtool* flex* pkgconfig*
libevent* glib*

若缺乏相關的軟件包，可經過yum -y install方式在線安裝，或直接從系統安裝光盤中找到並經過rpm -ivh方式安裝。

編譯安裝lua

MySQL-Proxy的讀寫分離主要是經過rw-splitting.lua腳本實現的，所以須要安裝lua。

lua可經過如下方式得到

從http://www.lua.org/download.html下載源碼包
從rpm.pbone.net搜索相關的rpm包

download.fedora.redhat.com/pub/fedora/epel/5/i386/lua-5.1.4-4.el5.i386.rpm
download.fedora.redhat.com/pub/fedora/epel/5/x86_64/lua-5.1.4-4.el5.x86_64.rpm

這裏咱們建議採用源碼包進行安裝

cd /opt/install
wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zvfx lua-5.1.4.tar.gz
cd lua-5.1.4
vi src/Makefile
在 CFLAGS= -O2 -Wall $(MYCFLAGS) 這一行記錄里加上-fPIC，更改成 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 來避免編譯過程當中出現錯誤。
make linux
make install
cp etc/lua.pc /usr/lib/pkgconfig/
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig

安裝配置MySQL-Proxy

MySQL-Proxy可經過如下網址得到：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/

推薦採用已經編譯好的二進制版本，由於採用源碼包進行編譯時，最新版的MySQL-Proxy對automake，glib以及libevent的版本都有很高的要求，而這些軟件包都是系統的基礎套件，不建議強行進行更新。
而且這些已經編譯好的二進制版本在解壓後都在統一的目錄內，所以建議選擇如下版本：
32位RHEL5平臺：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
64位RHEL5平臺：
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz

測試平臺爲RHEL5 32位，所以選擇32位的軟件包

wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz

tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
mv mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy

建立mysql-proxy服務管理腳本

mkdir /opt/mysql-proxy/init.d/
vim mysql-proxy
#!/bin/sh
# mysql-proxy This script starts and stops the mysql-proxy daemon
#
# chkconfig: - 78 30
# processname: mysql-proxy
# description: mysql-proxy is a proxy daemon to mysql
# Source function library.
. /etc/rc.d/init.d/functions
#PROXY_PATH=/usr/local/bin
PROXY_PATH=/opt/mysql-proxy/bin
prog="mysql-proxy"
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 0
# Set default mysql-proxy configuration.
#PROXY_OPTIONS="--daemon"
PROXY_OPTIONS="--admin-username=root --admin-password=password --proxy-read-only-backend-addresses=192.168.10.131:3306 --proxy-backend-addresses=192.168.10.130:3306  --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua"
PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid
# Source mysql-proxy configuration.
if [ -f /etc/sysconfig/mysql-proxy ]; then
        . /etc/sysconfig/mysql-proxy
fi

PATH=$PATH:/usr/bin:/usr/local/bin:$PROXY_PATH
# By default it's all good
RETVAL=0
# See how we were called.
case "$1" in
  start)
        # Start daemon.
        echo -n $"Starting $prog: "
        $NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon --pid-file=$PROXY_PID --user=mysql --log-level=warning --log-file=/opt/mysql-proxy/log/mysql-proxy.log
        RETVAL=$?
        echo
        if [ $RETVAL = 0 ]; then
                touch /var/lock/subsys/mysql-proxy
        fi
       ;;
  stop)
        # Stop daemons.
        echo -n $"Stopping $prog: "
        killproc $prog
        RETVAL=$?
        echo
        if [ $RETVAL = 0 ]; then
                rm -f /var/lock/subsys/mysql-proxy
                rm -f $PROXY_PID
        fi
       ;;
  restart)
        $0 stop
        sleep 3
        $0 start
       ;;
  condrestart)
       [ -e /var/lock/subsys/mysql-proxy ] && $0 restart
      ;;
  status)
        status mysql-proxy
        RETVAL=$?
       ;;
  *)
        echo "Usage: $0 {start|stop|restart|status|condrestart}"
        RETVAL=1
       ;;
esac
exit $RETVAL

腳本參數詳解：

PROXY_PATH=/opt/mysql-proxy/bin //定義mysql-proxy服務二進制文件路徑
PROXY_OPTIONS=」–admin-username=root  //定義內部管理服務器帳號
–admin-password=password  //定義內部管理服務器密碼
–proxy-read-only-backend-addresses=192.168.10.131:3306  //定義後端只讀從服務器地址
–proxy-backend-addresses=192.168.10.130:3306  //定義後端主服務器地址
–admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua  //定義lua管理腳本路徑
–proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua」  //定義lua讀寫分離腳本路徑
PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定義mysql-proxy PID文件路徑
$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS 
–daemon  //定義以守護進程模式啓動
–keepalive  //使進程在異常關閉後可以自動恢復
–pid-file=$PROXY_PID  //定義mysql-proxy PID文件路徑
–user=mysql  //以mysql用戶身份啓動服務
–log-level=warning  //定義log日誌級別，由高到低分別有(error|warning|info|message|debug)
–log-file=/opt/mysql-proxy/log/mysql-proxy.log //定義log日誌文件路徑
cp mysql-proxy /opt/mysql-proxy/init.d/
chmod +x /opt/mysql-proxy/init.d/mysql-proxy
mkdir /opt/mysql-proxy/run
mkdir /opt/mysql-proxy/log
mkdir /opt/mysql-proxy/scripts

配置並使用rw-splitting.lua讀寫分離腳本

最新的腳本咱們能夠從最新的mysql-proxy源碼包中獲取

cd /opt/install
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz
tar xzvf mysql-proxy-0.8.1.tar.gz
cd mysql-proxy-0.8.1
cp lib/rw-splitting.lua /opt/mysql-proxy/scripts

修改讀寫分離腳本rw-splitting.lua

修改默認鏈接，進行快速測試，不修改的話要達到鏈接數爲4時才啓用讀寫分離

vim /opt/mysql-proxy/scripts/rw-splitting.lua
=============================
— connection pool
if not proxy.global.config.rwsplit then
proxy.global.config.rwsplit = {
min_idle_connections = 1, //默認爲4
max_idle_connections = 1, //默認爲8
is_debug = false
}
end

修改完成後，啓動mysql-proxy

/opt/mysql-proxy/init.d/mysql-proxy start

測試讀寫分離效果

建立用於讀寫分離的數據庫鏈接用戶
登錄主數據庫服務器192.168.10.130，經過命令行登陸管理MySQL服務器

/opt/mysql/bin/mysql -uroot -p’new-password’
mysql> GRANT ALL ON *.* TO ‘proxy1’@’192.168.10.132’ IDENTIFIED BY ‘password’;

因爲咱們配置了主從複製功能，所以從數據庫服務器192.168.10.131上已經同步了此操做。

爲了清晰的看到讀寫分離的效果，須要暫時關閉MySQL主從複製功能
登錄從數據庫服務器192.168.10.131，經過命令行登陸管理MySQL服務器

/opt/mysql/bin/mysql -uroot -p’new-password’

關閉Slave同步進程

mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)

鏈接MySQL-Proxy

/opt/mysql/bin/mysql -uproxy1 -p’password’ -P4040 -h192.168.10.132

登錄成功後，在first_db數據的first_tb表中插入兩條記錄

mysql> use first_db;
Database changed
mysql> insert into first_tb values (007,’first’);
Query Ok, 1 row affected (0.00 sec)
mysql> insert into first_tb values (110,’second’);
Query Ok, 1 row affected (0.00 sec)

查詢記錄

mysql> select * from first_tb;
=============================
+——+——+
| id | name |
+——+——+
| 1 | myself |
+——+——+
1 rows in set (0.00 sec)
=============================

經過讀操做並無看到新記錄

mysql> quit
退出MySQL-Proxy

下面，分別登錄到主從數據庫服務器，對比記錄信息
首先，檢查主數據庫服務器

mysql> select * from first_tb;
=============================
+——+——+
| id | name |
+——+——+
| 1 | myself |
+——+——+
| 007 | first |
+——+——+
| 110 | second |
+——+——+
3 rows in set (0.00 sec)
=============================

兩條新記錄都已經存在

而後，檢查從數據庫服務器

mysql> select * from first_tb;
=============================
+——+——+
| id | name |
+——+——+
| 1 | myself |
+——+——+
1 rows in set (0.00 sec)
=============================

沒有新記錄存在

由此驗證，咱們已經實現了MySQL讀寫分離，目前全部的寫操做都所有在Master主服務器上，用來避免數據的不一樣步；
另外，全部的讀操做都分攤給了其它各個Slave從服務器上，用來分擔數據庫壓力。

經驗分享：

1.當MySQL主從複製在 show slave statusG 時出現Slave_IO_Running或Slave_SQL_Running 的值不爲YES時，須要首先經過 stop slave 來中止從服務器，而後再執行一次本文 2.1與2.2 章節中的步驟便可恢復，但若是想盡量的同步更多的數據，能夠在Slave上將master_log_pos節點的值在以前同步失效的值的基礎上增大一些，而後反覆測試，直到同步OK。由於MySQL主從複製的原理其實就是從服務器讀取主服務器的binlog，而後根據binlog的記錄來更新數據庫。

2.MySQL-Proxy的rw-splitting.lua腳本在網上有不少版本，可是最準確無誤的版本仍然是源碼包中所附帶的lib/rw-splitting.lua腳本，若是有lua腳本編程基礎的話，能夠在這個腳本的基礎上再進行優化；

3.MySQL-Proxy實際上很是不穩定，在高併發或有錯誤鏈接的狀況下，進程很容易自動關閉，所以打開–keepalive參數讓進程自動恢復是個比較好的辦法，但仍是不能從根本上解決問題，所以一般最穩妥的作法是在每一個從服務器上安裝一個MySQL-Proxy供自身使用，雖然比較低效但卻能保證穩定性；

4.一主多從的架構並非最好的架構，一般比較優的作法是經過程序代碼和中間件等方面，來規劃，好比設置對錶數據的自增id值差別增加等方式來實現兩個或多個主服務器，但必定要注意保證好這些主服務器數據的完整性，不然效果會比多個一主多從的架構還要差；

5.MySQL-Cluster 的穩定性也不是太好；

6.Amoeba for MySQL 是一款優秀的中間件軟件，一樣能夠實現讀寫分離，負載均衡等功能，而且穩定性要大大超過MySQL-Proxy，建議你們用來替代MySQL-Proxy，甚至MySQL-Cluster。

原文連接：

http://heylinux.com/archives/1004.html

---

​

識別圖中二維碼,領取python全套視頻資料