優化Linux的內核參數來提升服務器併發處理能力

PS：在服務器硬件資源額定有限的狀況下，最大的壓榨服務器的性能，提升服務器的併發處理能力，是不少運維技術人員思考的問題。要提升Linux系統下的負載能力，可使用nginx等原生併發處理能力就很強的web服務器，若是使用Apache的能夠啓用其Worker模式，來提升其併發處理能力。除此以外，在考慮節省成本的狀況下，能夠修改Linux的內核相關TCP參數，來最大的提升服務器性能。固然，最基礎的提升負載問題，仍是升級服務器硬件了，這是最根本的。

Linux系統下，TCP鏈接斷開後，會以TIME_WAIT狀態保留必定的時間，而後纔會釋放端口。當併發請求過多的時候，就會產生大量的TIME_WAIT狀態的鏈接，沒法及時斷開的話，會佔用大量的端口資源和服務器資源。這個時候咱們能夠優化TCP的內核參數，來及時將TIME_WAIT狀態的端口清理掉。

本文介紹的方法只對擁有大量TIME_WAIT狀態的鏈接致使系統資源消耗有效，若是不是這種狀況下，效果可能不明顯。可使用netstat命令去查TIME_WAIT狀態的鏈接狀態，輸入下面的組合命令，查看當前TCP鏈接的狀態和對應的鏈接數量：
#netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
這個命令會輸出相似下面的結果：
LAST_ACK 16
SYN_RECV 348
ESTABLISHED 70
FIN_WAIT1 229
FIN_WAIT2 30
CLOSING 33
TIME_WAIT 18098
咱們只用關心TIME_WAIT的個數，在這裏能夠看到，有18000多個TIME_WAIT，這樣就佔用了18000多個端口。要知道端口的數量只有65535個，佔用一個少一個，會嚴重的影響到後繼的新鏈接。這種狀況下，咱們就有必要調整下Linux的TCP內核參數，讓系統更快的釋放TIME_WAIT鏈接。

用vim打開配置文件：#vim /etc/sysctl.conf

在這個文件中，加入下面的幾行內容：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30

輸入下面的命令，讓內核參數生效：#sysctl -p

簡單的說明上面的參數的含義：

net.ipv4.tcp_syncookies = 1
#表示開啓SYN Cookies。當出現SYN等待隊列溢出時，啓用cookies來處理，可防範少許SYN攻擊，默認爲0，表示關閉；
net.ipv4.tcp_tw_reuse = 1
#表示開啓重用。容許將TIME-WAIT sockets從新用於新的TCP鏈接，默認爲0，表示關閉；
net.ipv4.tcp_tw_recycle = 1
#表示開啓TCP鏈接中TIME-WAIT sockets的快速回收，默認爲0，表示關閉；
net.ipv4.tcp_fin_timeout
#修改系統默認的 TIMEOUT 時間。

在通過這樣的調整以後，除了會進一步提高服務器的負載能力以外，還可以防護小流量程度的DoS、CC和SYN攻擊。

此外，若是你的鏈接數自己就不少，咱們能夠再優化一下TCP的可以使用端口範圍，進一步提高服務器的併發能力。依然是往上面的參數文件中，加入下面這些配置：
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10000 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
#這幾個參數，建議只在流量很是大的服務器上開啓，會有顯著的效果。通常的流量小的服務器上，沒有必要去設置這幾個參數。

net.ipv4.tcp_keepalive_time = 1200
#表示當keepalive起用的時候，TCP發送keepalive消息的頻度。缺省是2小時，改成20分鐘。
net.ipv4.ip_local_port_range = 10000 65000
#表示用於向外鏈接的端口範圍。缺省狀況下很小：32768到61000，改成10000到65000。（注意：這裏不要將最低值設的過低，不然可能會佔用掉正常的端口！）
net.ipv4.tcp_max_syn_backlog = 8192
#表示SYN隊列的長度，默認爲1024，加大隊列長度爲8192，能夠容納更多等待鏈接的網絡鏈接數。
net.ipv4.tcp_max_tw_buckets = 6000
#表示系統同時保持TIME_WAIT的最大數量，若是超過這個數字，TIME_WAIT將馬上被清除並打印警告信息。默 認爲180000，改成6000。對於Apache、Nginx等服務器，上幾行的參數能夠很好地減小TIME_WAIT套接字數量，可是對於 Squid，效果卻不大。此項參數能夠控制TIME_WAIT的最大數量，避免Squid服務器被大量的TIME_WAIT拖死。

內核其餘TCP參數說明：
net.ipv4.tcp_max_syn_backlog = 65536
#記錄的那些還沒有收到客戶端確認信息的鏈接請求的最大值。對於有128M內存的系統而言，缺省值是1024，小內存的系統則是128。
net.core.netdev_max_backlog = 32768
#每一個網絡接口接收數據包的速率比內核處理這些包的速率快時，容許送到隊列的數據包的最大數目。
net.core.somaxconn = 32768
#web應用中listen函數的backlog默認會給咱們內核參數的net.core.somaxconn限制到128，而nginx定義的NGX_LISTEN_BACKLOG默認爲511，因此有必要調整這個值。

net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216           #最大socket讀buffer,可參考的優化值:873200
net.core.wmem_max = 16777216           #最大socket寫buffer,可參考的優化值:873200
net.ipv4.tcp_timestsmps = 0
#時間戳能夠避免序列號的卷繞。一個1Gbps的鏈路確定會遇到之前用過的序列號。時間戳可以讓內核接受這種「異常」的數據包。這裏須要將其關掉。
net.ipv4.tcp_synack_retries = 2
#爲了打開對端的鏈接，內核須要發送一個SYN並附帶一個迴應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄鏈接以前發送SYN+ACK包的數量。
net.ipv4.tcp_syn_retries = 2
#在內核放棄創建鏈接以前發送SYN包的數量。
#net.ipv4.tcp_tw_len = 1
net.ipv4.tcp_tw_reuse = 1
# 開啓重用。容許將TIME-WAIT sockets從新用於新的TCP鏈接。

net.ipv4.tcp_wmem = 8192 436600 873200
# TCP寫buffer,可參考的優化值: 8192 436600 873200
net.ipv4.tcp_rmem  = 32768 436600 873200
# TCP讀buffer,可參考的優化值: 32768 436600 873200
net.ipv4.tcp_mem = 94500000 91500000 92700000
# 一樣有3個值,意思是:
net.ipv4.tcp_mem[0]:低於此值，TCP沒有內存壓力。
net.ipv4.tcp_mem[1]:在此值下，進入內存壓力階段。
net.ipv4.tcp_mem[2]:高於此值，TCP拒絕分配socket。
上述內存單位是頁，而不是字節。可參考的優化值是:786432 1048576 1572864

net.ipv4.tcp_max_orphans = 3276800
#系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。
若是超過這個數字，鏈接將即刻被複位並打印出警告信息。
這個限制僅僅是爲了防止簡單的DoS攻擊，不能過度依靠它或者人爲地減少這個值，
更應該增長這個值(若是增長了內存以後)。
net.ipv4.tcp_fin_timeout = 30
#若是套接字由本端要求關閉，這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端能夠出錯並永遠不關閉鏈接，甚至意外當機。缺省值是60秒。2.2 內核的一般值是180秒，你能夠按這個設置，但要記住的是，即便你的機器是一個輕載的WEB服務器，也有由於大量的死套接字而內存溢出的風險，FIN- WAIT-2的危險性比FIN-WAIT-1要小，由於它最多隻能吃掉1.5K內存，可是它們的生存期長些。

通過這樣的優化配置以後，你的服務器的TCP併發處理能力會顯著提升。以上配置僅供參考，用於生產環境請根據本身的實際狀況。