Mysql代理中間件 Atlas 安裝和配置



標籤：atlas 代理 mysql mysql_proxy

這兩天在學習mysql的讀寫分離和負載均衡，嘗試了主從模式和mysql cluter，最後仍是選擇了一主多從，而後讀寫分離，這比較適合讀量大的網站。而後對於mysql的負載均衡器，起先嚐試了一下SQL請求路由器 Amoeba，讀寫分離不錯，可是不支持事務，由於我測試的網站是採起spring mvc+hibernate的。而後看到了360公司的MySQL中間層 Atlas，這是支持事務的，把本身的安裝和配置記錄一下。

首先，先去下載Altas的rpm包，下載地址：https://github.com/Qihoo360/Atlas/releases

要看清楚版本，centos 5.x：Atlas-1.0.3.el5.x86_64.rpm    centos 6.x：

個人系統是centos 6.4 ，因此下載Atlas-1.0.3.el6.x86_64.rpm

千萬別搞錯了，不然最後啓動會出錯。你們也能夠採起源碼編譯安裝，不過rpm安裝比較省時省力，並且簡單。

下載rpm 

?

1	wget https: //github .com /Qihoo360/Atlas/releases/download/1 .0.3 /Atlas-1 .0.3.el6.x86_64.rpm

安裝 

?

1	rpm -i Atlas-1.0.3.el6.x86_64.rpm

安裝的目錄是/usr/local/mysql-proxy

conf文件夾下有一個自帶的配置文件test.cnf，咱們能夠直接修改，下面是我修改的

主數據庫服務器：192.168.83.11

從數據庫服務器：192.168.83.12

proxy服務器：192.168.83.13

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

[mysql-proxy]   #Atlas加載的模塊名稱，不須要改 plugins = admin, proxy   #管理接口的用戶名 admin-username = root   #管理接口的密碼 admin-password = 123456   #實現管理接口的Lua腳本所在路徑 admin-lua-script = /usr/local/mysql-proxy/lib/mysql-proxy/lua/admin .lua   #Atlas後端鏈接的MySQL主庫的IP和端口，可設置多項，用逗號分隔 proxy-backend-addresses = 192.168.83.11:3306   #Atlas後端鏈接的MySQL從庫的IP和端口，@後面的數字表明權重，用來做負載均衡，若省略則默認爲1，可設置多項，用逗號分隔 proxy- read -only-backend-addresses = 192.168.83.12:3306@1   #設置Atlas的運行方式，設爲true時爲守護進程方式，設爲false時爲前臺方式，通常開發調試時設爲false，線上運行時設爲true daemon = false #設置Atlas的運行方式，設爲true時Atlas會啓動兩個進程，一個爲monitor，一個爲worker，monitor在worker意外退出後會自動將其重啓，設爲false時只有worker，沒有monitor，通常開發調試時設爲false，線上運行時設爲true keepalive = false   #工做線程數，推薦設置與系統的CPU核數相等 event-threads = 4   #日誌級別，分爲message、warning、critical、error、debug五個級別 log-level = message   #日誌存放的路徑 log-path = /usr/local/mysql-proxy/log   #實例名稱，用於同一臺機器上多個Atlas實例間的區分 instance = test   #Atlas監聽的工做接口IP和端口 proxy-address = 0.0.0.0:1234   #Atlas監聽的管理接口IP和端口 admin-address = 0.0.0.0:2345 #鏈接池的最小空閒鏈接數，應設爲event-threads的整數倍，可根據業務請求量大小適當調大或調小 min-idle-connections = 8   #分表設置，此例中person爲庫名，mt爲表名，id爲分表字段，3爲子表數量，可設置多項，以逗號分隔，若不分表則不須要設置該項 #tables = person.mt.id.3   #用戶名與其對應的加密過的MySQL密碼，密碼使用PREFIX/bin目錄下的加密程序encrypt加密，此設置項用於多個用戶名同時訪問同一個Atlas實例的狀況，若只有一個用戶名>則不須要設置該項 #pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=   #默認字符集，若不設置該項，則默認字符集爲latin1 charset = utf8   #容許鏈接Atlas的客戶端的IP，能夠是精確IP，也能夠是IP段，以逗號分隔，若不設置該項則容許全部IP鏈接，不然只容許列表中的IP鏈接 #client-ips = 127.0.0.1, 192.168.1   #Atlas前面掛接的LVS的物理網卡的IP(注意不是虛IP)，如有LVS且設置了client-ips則此項必須設置，不然能夠不設置 #lvs-ips = 192.168.1.1

最後，進入到bin文件夾下，啓動Altas

?

1	. /mysql-proxy --defaults- file =.. /conf/test .cnf

最好配置文件中的 daemon設置爲true，爲後臺守護運行。

原先我使用官網的

?

1	. /mysql-proxyd test start

可是一直提示我啓動失敗，後來諮詢了做者教我使用上面的那個帶配置文件的啓動，成功了。

查看Altas運行狀況

?

1	. /mysql-proxyd instance status

 應該有兩個進程的。

我後來使用NaviCat鏈接工做端口，用戶名和密碼就是上面配置文件的管理用戶和密碼，成功了。

通過測試，Altas的讀寫分離和事務支持很好，明天發佈2.0版本，增長對JDBC的支持。

詳細配置：

   Atlas是由 Qihoo 360,  Web平臺部基礎架構團隊開發維護的一個基於MySQL協議的數據中間層項目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基礎上，修改了大量bug，添加了不少功能特性。目前該項目在360公司內部獲得了普遍應用，不少MySQL業務已經接入了Atlas平 臺，天天承載的讀寫請求數達幾十億條。

主要功能：
* 讀寫分離
* 從庫負載均衡
* IP過濾
* SQL語句黑白名單
* 自動分表

1、環境
OS ：CentOS-6.4 x86_64
Atlas IP : 192.168.4.215
MySQL Master IP : 192.168.4.213

MySQL Slave IP : 192.168.4.214

2、MySQL受權
MySQL主從已經配置好以後，主從對Atlas進行受權
mysql> grant all on *.* to atlas@‘192.168.4.215‘ identified by ‘123456‘;

3、Atlas安裝
Atlas官方文檔：
https://github.com/Qihoo360/Atlas/wiki
CentOS-5.x下載地址
# wget https://github.com/Qihoo360/Atlas/releases/download/2.0.2/Atlas-2.0.2.el5.x86_64.rpm
# rpm -ivh Atlas-2.0.2.el5.x86_64.rpm
CentOS-6.x下載地址
# wget https://github.com/Qihoo360/Atlas/releases/download/2.0.2/Atlas-2.0.2.el6.x86_64.rpm
# rpm -ivh Atlas-2.0.2.el6.x86_64.rpm
Atlas安裝後的文件路徑
/usr/local/mysql-proxy/

4、Atlas配置

加密MySQL用戶密碼，獲取的加密串填寫到配置文件的pwds參數中。
# /usr/local/mysql-proxy/bin/encrypt 123456

/iZxz+0GRoA=

vim /usr/local/mysql_proxy/conf/test.conf

[mysql-proxy]

#帶#號的爲非必需的配置項目

#管理接口的用戶名
admin-username = user

#管理接口的密碼
admin-password = pwd

#Atlas後端鏈接的MySQL主庫的IP和端口，可設置多項，用逗號分隔
proxy-backend-addresses = 192.168.4.213:3306

#Atlas後端鏈接的MySQL從庫的IP和端口，@後面的數字表明權重，用來做負載均衡，若省略則默認爲1，可設置多項，用逗號分隔
proxy-read-only-backend-addresses = 192.168.4.214:3306@1

#用戶名與其對應的加密過的MySQL密碼，密碼使用PREFIX/bin目錄下的加密程序encrypt加密，下行的user1和user2爲示例，將其替換爲你的MySQL的用戶名和加密密碼！
pwds = atlas:/iZxz+0GRoA=

#設置Atlas的運行方式，設爲true時爲守護進程方式，設爲false時爲前臺方式，通常開發調試時設爲false，線上運行時設爲true,true後面不能有空格。
daemon = true

#設置Atlas的運行方式，設爲true時Atlas會啓動兩個進程，一個爲monitor，一個爲worker，monitor在worker意外退出後會自動將其重啓，設爲false時只有worker，沒有mo
nitor，通常開發調試時設爲false，線上運行時設爲true,true後面不能有空格。
keepalive = true

#工做線程數，對Atlas的性能有很大影響，可根據狀況適當設置
event-threads = 8

#日誌級別，分爲message、warning、critical、error、debug五個級別
log-level = message

#日誌存放的路徑
log-path = /usr/local/mysql-proxy/log

#SQL日誌的開關，可設置爲OFF、ON、REALTIME，OFF表明不記錄SQL日誌，ON表明記錄SQL日誌，REALTIME表明記錄SQL日誌且實時寫入磁盤，默認爲OFF
#sql-log = OFF

#慢日誌輸出設置。當設置了該參數時，則日誌只輸出執行時間超過sql-log-slow（單位：ms)的日誌記錄。不設置該參數則輸出所有日誌。
#sql-log-slow = 10

#實例名稱，用於同一臺機器上多個Atlas實例間的區分
#instance = test

#Atlas監聽的工做接口IP和端口
proxy-address = 0.0.0.0:1234

#Atlas監聽的管理接口IP和端口
admin-address = 0.0.0.0:2345

#分表設置，此例中person爲庫名，mt爲表名，id爲分表字段，3爲子表數量，可設置多項，以逗號分隔，若不分表則不須要設置該項
#tables = person.mt.id.3

#默認字符集，設置該項後客戶端再也不須要執行SET NAMES語句
#charset = utf8

#容許鏈接Atlas的客戶端的IP，能夠是精確IP，也能夠是IP段，以逗號分隔，若不設置該項則容許全部IP鏈接，不然只容許列表中的IP鏈接
#client-ips = 127.0.0.1, 192.168.1

#Atlas前面掛接的LVS的物理網卡的IP(注意不是虛IP)，如有LVS且設置了client-ips則此項必須設置，不然能夠不設置
#lvs-ips = 192.168.1.1

啓動

/usr/local/mysql-proxy/bin/mysql-proxyd test start

關閉

/usr/local/mysql-proxy/bin/mysql-proxyd test stop

5、Atlas參數備註
instance參數
同一臺機器上的多個Atlas實例，使用不一樣的端口，對應不一樣數據庫，使用各自的配置文件
默認的黑白名單
不帶where的delete會屏蔽，"sleep"會屏蔽
備註：
1.03版本已經支持set
autocommit語句，另外對於python來講須要在鏈接上後執行一句conn.autocommit(True)
pwds參數
配置MySQL用戶名和對應的加密過的MySQL密碼，密碼使用/usr/local/mysql-proxy/bin/encrypt程序進行加
密，用戶名和密碼用冒號分開，可使用多個用戶，用逗號空格分隔。
client-ips參數
在引入中間層後，由於鏈接DB的是Atlas，因此DB改成對部署Atlas的機器的IP做訪問受權，而client-ips參
數用來控制鏈接Atlas的客戶端的IP
lvs-ips參數
好比LVS後面掛接兩臺Atlas，分別叫A和B，LVS去循環檢測A和B的存活，當Atlas檢測到是LVS的IP來請求時
，根據在線或不在線狀態，向LVS的檢測腳本返回不一樣的值，這裏是設置Atlas前面的LVS的物理網卡的IP。
6、Atlas管理接口使用

# mysql -u管理用戶 -p管理密碼 -h127.0.0.1 -P管理端口
# mysql -uuser -ppwd -h127.0.0.1 -P2345
查看管理語句參數：
mysql> select * from help;
查看DB狀態：
mysql> select * from backends;
+-------------+-------------------+-------+------+------+-------------------+
| backend_ndx | address | state | type | uuid | connected_clients |
+-------------+-------------------+-------+------+------+-------------------+
| 1 | 172.16.1.20:3306 | up | rw | NULL | 0 |
| 2 | 172.16.1.30:3306 | up | ro | NULL | 0 |
+-------------+-------------------+-------+------+------+-------------------+
備註：
connected_clients這個參數有bug，不能正常顯示。

7、Atlas常見問題

1、Atlas多實例啓動問題：
若是配置文件中instance = instance，啓動參數以下：
/usr/local/mysql-proxy/bin/mysql-proxyd instance start
若是配置文件中instance = test，啓動參數以下：
/usr/local/mysql-proxy/bin/mysql-proxyd test start
可使用mysql-proxy命令啓動，
/usr/local/mysql-proxy/bin/mysql-proxy --defaults-file=/usr/local/mysql-proxy/conf/test.cnf
備註：
使用腳本啓動時，注意區分bin目錄下面的mysql-proxy 和 mysql-proxyd 。
2、使用Atlas時出現"too many connections"
緣由是DB的max_connections設置太小
3、在管理接口發現後端DB的狀態爲down
a、後端DB是否已對Atlas所在機器的IP受權
b、推薦DB的my.cnf裏的max_connect_errors設置爲100000，默認值是10，值過小會影響Atlas對DB的存活檢
測，能夠修改my.cnf文件的max_connect_errors參數，或者用下面指令直接修改；
mysql> set global max_connect_errors=100000;
4、主從同步延遲，不能立刻讀數據
能夠在SQL語句前增長 /*master*/ ，就能夠將讀請求強制發往主庫。