【譯】MySQL挑戰：創建10萬鏈接

原文地址：www.percona.com/blog/2019/0…

本文的目的是探索一種在一臺MySQL服務器上創建10w個鏈接的方法。咱們要創建的是能夠執行查詢的鏈接，而不是10w個空閒鏈接。

你可能會問，個人MySQL服務器真的須要10w鏈接嗎？我見過不少不一樣的部署方案，例如使用鏈接池，每一個應用的鏈接池裏放1000個鏈接，部署100個這樣的應用服務器。還有一些很是糟糕的實踐，使用「查詢慢則重連並重試」的技術。這會形成雪球效應，有可能致使在幾秒內須要創建上千個鏈接的狀況。

因此我決定設置一個「小目標」，看可否實現。

準備階段

先看一下硬件，服務器由packet.net（一個雲服務商）提供，配置以下：

instance size: c2.medium.x86 Physical Cores @ 2.2 GHz (1 X AMD EPYC 7401P) Memory: 64 GB of ECC RAM Storage : INTEL® SSD DC S4500, 480GB

咱們須要5臺這樣的服務器，1臺用來做MySQL服務器，其他4臺做爲客戶端。MySQL服務器使用的是Percona Server的帶有線程池插件的MySQL 8.0.13-4，這個插件須要支持上千個鏈接。

初始化服務器配置

網絡設置：

- { name: 'net.core.somaxconn', value: 32768 }
- { name: 'net.core.rmem_max', value: 134217728 }
- { name: 'net.core.wmem_max', value: 134217728 }
- { name: 'net.ipv4.tcp_rmem', value: '4096 87380 134217728' }
- { name: 'net.ipv4.tcp_wmem', value: '4096 87380 134217728' }
- { name: 'net.core.netdev_max_backlog', value: 300000 }
- { name: 'net.ipv4.tcp_moderate_rcvbuf', value: 1 }
- { name: 'net.ipv4.tcp_no_metrics_save', value: 1 }
- { name: 'net.ipv4.tcp_congestion_control', value: 'htcp' }
- { name: 'net.ipv4.tcp_mtu_probing', value: 1 }
- { name: 'net.ipv4.tcp_timestamps', value: 0 }
- { name: 'net.ipv4.tcp_sack', value: 0 }
- { name: 'net.ipv4.tcp_syncookies', value: 1 }
- { name: 'net.ipv4.tcp_max_syn_backlog', value: 4096 }
- { name: 'net.ipv4.tcp_mem', value: '50576   64768 98152' }
- { name: 'net.ipv4.ip_local_port_range', value: '4000 65000' }
- { name: 'net.ipv4.netdev_max_backlog', value: 2500 }
- { name: 'net.ipv4.tcp_tw_reuse', value: 1 }
- { name: 'net.ipv4.tcp_fin_timeout', value: 5 }
複製代碼

系統限制設置：

[Service]
LimitNOFILE=1000000
LimitNPROC=500000
複製代碼

相應的MySQL配置（my.cnf文件）：

back_log=3500
max_connections=110000
複製代碼

客戶端使用的是sysbench0.5版本，而不是1.0.x。具體緣由咱們在後面作解釋。

執行命令：sysbench --test=sysbench/tests/db/select.lua --mysql-host=139.178.82.47 --mysql-user=sbtest--mysql-password=sbtest --oltp-tables-count=10 --report-interval=1 --num-threads=10000 --max-time=300 --max-requests=0 --oltp-table-size=10000000 --rand-type=uniform --rand-init=on run

第一步，10,000個鏈接

這一步很是簡單，咱們不須要作過多調整就能夠實現。這一步只須要一臺機器作客戶端，不過客戶端有可能會有以下錯誤：

FATAL: error 2004: Can't create TCP/IP socket (24)

這是因爲打開文件數限制，這個限制限制了TCP/IP的sockets數量，能夠在客戶端上進行調整：

ulimit -n100000

此時咱們來觀察一下性能：

[  26s] threads: 10000, tps: 0.00, reads: 33367.48, writes: 0.00, response time: 3681.42ms (95%), errors: 0.00, reconnects:  0.00
[  27s] threads: 10000, tps: 0.00, reads: 33289.74, writes: 0.00, response time: 3690.25ms (95%), errors: 0.00, reconnects:  0.00
複製代碼

第二步，25,000個鏈接

這一步會在MySQL服務端發生錯誤：

Can't create a new thread (errno 11); if you are not out of available memory, you can consult the manualfor a possible OS-dependent bug

關於這個問題的解決辦法能夠看這個連接：

https://www.percona.com/blog/2013/02/04/cant_create_thread_errno_11/

不過這個辦法不適用於咱們如今的狀況，由於咱們已經把全部限制調到最高：

cat /proc/`pidof mysqld`/limits
Limit                     Soft Limit Hard Limit           Units
Max cpu time              unlimited  unlimited            seconds
Max file size             unlimited  unlimited            bytes
Max data size             unlimited  unlimited            bytes
Max stack size            8388608    unlimited            bytes
Max core file size        0          unlimited            bytes
Max resident set          unlimited  unlimited            bytes
Max processes             500000     500000               processes
Max open files            1000000    1000000              files
Max locked memory         16777216   16777216             bytes
Max address space         unlimited  unlimited            bytes
Max file locks            unlimited  unlimited            locks
Max pending signals       255051     255051               signals
Max msgqueue size         819200     819200               bytes
Max nice priority         0          0
Max realtime priority     0          0
Max realtime timeout      unlimited unlimited            us
複製代碼

這也是爲何咱們最開始要選擇有線程池的服務：https://www.percona.com/doc/percona-server/8.0/performance/threadpool.html

在my.cnf文件中加上下面這行設置，而後重啓服務

thread_handling=pool-of-threads

查看一下結果

[   7s] threads: 25000, tps: 0.00, reads: 33332.57, writes: 0.00, response time: 974.56ms (95%), errors: 0.00, reconnects:  0.00
[   8s] threads: 25000, tps: 0.00, reads: 33187.01, writes: 0.00, response time: 979.24ms (95%), errors: 0.00, reconnects:  0.00
複製代碼

吞吐量相同，可是又95%的響應從3690 ms降到了979 ms。

第三步，50,000個鏈接

到這裏，咱們遇到了最大的挑戰。首先嚐試創建5w鏈接的時候，sysbench報錯：

FATAL: error 2003: Can't connect to MySQL server on '139.178.82.47' (99)

Error (99)錯誤比較神祕，它意味着不能分配指定的地址。這個問題是由一個應用能夠打開的端口數限制引發的，咱們的系統默認配置是：

cat /proc/sys/net/ipv4/ip_local_port_range : 32768 60999

這表示咱們只有28,231可用端口（60999減32768），或者是你最多能創建的到指定IP地址的TCP鏈接數。你能夠在服務器和客戶端擴寬這個範圍：

echo 4000 65000 > /proc/sys/net/ipv4/ip_local_port_range

這樣咱們就能創建61,000個鏈接了，這已經接近一個IP可用端口的最大限制了（65535）。這裏的關鍵點是，若是咱們想要達到10w鏈接，就須要爲MySQL服務器分配更多的IP地址，因此我爲MySQL服務器分配了兩個IP地址。

解決了端口個數問題後，咱們又遇到了新的問題：

sysbench 0.5:  multi-threaded system evaluation benchmark
Running the test with following options:
Number of threads: 50000
FATAL: pthread_create() for thread #32352 failed. errno = 12 (Cannot allocate memory)
複製代碼

這個問題是由sysbench的內存分配問題引發的。sysbench只能分配的內存只能建立32,351個鏈接，這個問題在1.0.x版本中更爲嚴重。

Sysbench 1.0.x的限制

Sysbench 1.0.x版本使用了不一樣的Lua編譯器，致使咱們不可能建立超過4000個鏈接。因此看起來Sysbench比 Percona Server更早到達了極限，因此咱們須要使用更多的客戶端。每一個客戶端最多32,351個鏈接的話，咱們最少要使用4個客戶端才能達到10w鏈接的目標。

爲了達到5w鏈接，咱們使用了兩臺機器作客戶端，每臺機器開啓25,000個線程。結果以下：

[  29s] threads: 25000, tps: 0.00, reads: 16794.09, writes: 0.00, response time: 1799.63ms (95%), errors: 0.00, reconnects:  0.00
[  30s] threads: 25000, tps: 0.00, reads: 16491.03, writes: 0.00, response time: 1800.70ms (95%), errors: 0.00, reconnects:  0.00
複製代碼

吞吐量和上一步差很少（總的tps是16794*2 = 33588），可是性能下降了，有95%的響應時間長了一倍。這是意料之中的事情，由於與上一步相比，咱們的鏈接數擴大了一倍。

第四步，75,000個鏈接

這一步咱們再增長一臺服務器作客戶端，每臺客戶端上一樣是跑25,000個線程。結果以下：

[ 157s] threads: 25000, tps: 0.00, reads: 11633.87, writes: 0.00, response time: 2651.76ms (95%), errors: 0.00, reconnects:  0.00
[ 158s] threads: 25000, tps: 0.00, reads: 10783.09, writes: 0.00, response time: 2601.44ms (95%), errors: 0.00, reconnects:  0.00
複製代碼

第五步，100,000個鏈接

終於到站了，這一步一樣沒什麼困難，只須要再開一個客戶端，一樣跑25,000個線程。結果以下：

[ 101s] threads: 25000, tps: 0.00, reads: 8033.83, writes: 0.00, response time: 3320.21ms (95%), errors: 0.00, reconnects:  0.00
[ 102s] threads: 25000, tps: 0.00, reads: 8065.02, writes: 0.00, response time: 3405.77ms (95%), errors: 0.00, reconnects:  0.00
複製代碼

吞吐量仍然保持在32260的水平（8065*4），95%的響應時間是3405ms。

這裏有個很是重要的事情，想必你們已經發現了：在有線程的狀況下10w鏈接數的響應速度甚至要優於沒有線程池的狀況下的1w鏈接數的響應速度。線程池使得Percona Server能夠更加有效的管理資源，而後提供更好的響應速度。

結論

10w鏈接數是能夠實現的，而且能夠更多，實現這個目標有三個重要的組件：

1. Percona Server的線程池
2. 正確的網絡設置
3. 爲MySQL服務器配置多個IP地址（每一個IP限制65535個鏈接）

附錄

最後貼上完整的my.cnf文件

[mysqld]
datadir {{ mysqldir }}
ssl=0
skip-log-bin
log-error=error.log
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
character_set_server=latin1
collation_server=latin1_swedish_ci
skip-character-set-client-handshake
innodb_undo_log_truncate=off
# general
table_open_cache = 200000
table_open_cache_instances=64
back_log=3500
max_connections=110000
# files
innodb_file_per_table
innodb_log_file_size=15G
innodb_log_files_in_group=2
innodb_open_files=4000
# buffers
innodb_buffer_pool_size= 40G
innodb_buffer_pool_instances=8
innodb_log_buffer_size=64M
# tune
innodb_doublewrite= 1
innodb_thread_concurrency=0
innodb_flush_log_at_trx_commit= 0
innodb_flush_method=O_DIRECT_NO_FSYNC
innodb_max_dirty_pages_pct=90
innodb_max_dirty_pages_pct_lwm=10
innodb_lru_scan_depth=2048
innodb_page_cleaners=4
join_buffer_size=256K
sort_buffer_size=256K
innodb_use_native_aio=1
innodb_stats_persistent = 1
#innodb_spin_wait_delay=96
innodb_adaptive_flushing = 1
innodb_flush_neighbors = 0
innodb_read_io_threads = 16
innodb_write_io_threads = 16
innodb_io_capacity=1500
innodb_io_capacity_max=2500
innodb_purge_threads=4
innodb_adaptive_hash_index=0
max_prepared_stmt_count=1000000
innodb_monitor_enable = '%'
performance_schema = ON
複製代碼