首先咱們來看如何標識一個TCP鏈接?系統是經過一個四元組來識別,(src_ip,src_port,dst_ip,dst_port)即源IP、源端口、目標IP、目標端口。好比咱們有一臺服務192.168.0.1,開啓端口80.那麼全部的客戶端都會鏈接到這臺服務的80端口上面。有一種誤解,就是咱們常說一臺機器有65536個端口,那麼承載的鏈接數就是65536個,這個說法是極其錯誤的,這就混淆了源端口和訪問目標端口。咱們作壓測的時候,利用壓測客戶端,這個客戶端的鏈接數是受到端口數的限制,可是服務器上面的鏈接數能夠達到成千上萬個,通常能夠達到百萬(4C8G配置),至於上限是多少,須要看優化的程度。具體作法以下:linux
咱們在壓測一臺目標服務器,想看下負載的鏈接數,當咱們壓到必定數量的時候,控制檯忽然報"too many open files",這是由於linux系統建立一個TCP鏈接的時候,都會建立一個socket句柄,每一個socket句柄就是一個文件句柄。操做系統對打開的文件句柄數量是有限制的。Unix/Linux 基本哲學之一就是 "一切皆文件",要提升TCP承載量,就須要調整文件句柄。vim
# 查看當前用戶容許TCP打開的文件句柄最大數 ulimit -n # 修改文件句柄 vim /etc/security/limits.conf * soft nofile 655350 * hard nofile 655350
修改後,退出終端窗口,從新登陸(不須要重啓服務器),就能看到最新的結果了。這是優化的第一步,修改文件句柄限制。服務器
注意:
soft nofile (軟限制)是指Linux在當前系統可以承受的範圍內進一步限制用戶同時打開的文件數
hard nofile (硬限制)是根據系統硬件資源情況(主要是系統內存)計算出來的系統最多可同時打開的文件數量
一般軟限制小於或等於硬限制網絡
參數 | 默認配置 | 調整配置 | 說明 |
---|---|---|---|
fs.file-max | 1048576 | 9999999 | 全部進程打開的文件描述符數 |
fs.nr_open | 1635590 | 1635590 | 單個進程可分配的最大文件數 |
net.core.rmem_default | 124928 | 262144 | 默認的TCP讀取緩衝區 |
net.core.wmem_default | 124928 | 262144 | 默認的TCP發送緩衝區 |
net.core.rmem_max | 124928 | 8388608 | 默認的TCP最大讀取緩衝區 |
net.core.wmem_max | 124928 | 8388608 | 默認的TCP最大發送緩衝區 |
net.ipv4.tcp_wmem | 4096 16384 4194304 | 4096 16384 8388608 | TCP發送緩衝區 |
net.ipv4.tcp_rmem | 4096 87380 4194304 | 4096 87380 8388608 | TCP讀取緩衝區 |
net.ipv4.tcp_mem | 384657 512877 769314 | 384657 512877 3057792 | TCP內存大小 |
net.core.netdev_max_backlog | 1000 | 5000 | 在每一個網絡接口接收數據包的速率比內核處理這些包的速率快時,容許送到隊列的數據包的最大數目 |
net.core.optmem_max | 20480 | 81920 | 每一個套接字所容許的最大緩衝區的大小 |
net.core.somaxconn | 128 | 2048 | 每個端口最大的監聽隊列的長度,這是個全局的參數 |
net.ipv4.tcp_fin_timeout | 60 | 30 | 對於本端斷開的socket鏈接,TCP保持在FIN-WAIT-2狀態的時間(秒)。對方可能會斷開鏈接或一直不結束鏈接或不可預料的進程死亡 |
net.core.netdev_max_backlog | 1000 | 10000 | 在每一個網絡接口接收數據包的速率比內核處理這些包的速率快時,容許送到隊列的數據包的最大數目 |
net.ipv4.tcp_max_syn_backlog | 1024 | 2048 | 對於還未得到對方確認的鏈接請求,可保存在隊列中的最大數目。若是服務器常常出現過載,能夠嘗試增長這個數字 |
net.ipv4.tcp_max_tw_buckets | 5000 | 5000 | 系統在同時所處理的最大timewait sockets數目 |
net.ipv4.tcp_tw_reuse | 0 | 1 | 是否容許將TIME-WAIT sockets從新用於新的TCP鏈接 |
net.ipv4.tcp_keepalive_time | 7200 | 900 | 表示TCP連接在多少秒以後沒有數據報文傳輸時啓動探測報文(發送空的報文) |
net.ipv4.tcp_keepalive_intvl | 75 | 30 | 表示前一個探測報文和後一個探測報文之間的時間間隔 |
net.ipv4.tcp_keepalive_probes | 9 | 3 | 表示探測的次數 |
從上面的配置參數中咱們能夠知道,在Linux內核中爲tcp發送和接收都作了緩衝隊列,這樣能夠提升系統的吞吐量。
以上這些參數都是在 /etc/sysctl.conf 文件中定義的,有的參數在文件中可能沒有定義,系統給定了默認值,須要修改的話,直接在文件中添加或修改,而後執行sysctl -p命令讓其生效。socket
注意:
參數值並非設置的越大越好,有的須要考慮服務器的硬件配置,參數對服務器上其它服務的影響等。tcp
聲明:後半部分參數調整主要來自參考資料:https://kiswo.com/article/1017優化