修改Linux內核參數，減小TCP鏈接中的TIME-WAIT

一臺服務器CPU和內存資源額定有限的狀況下，如何提升服務器的性能是做爲系統運維的重要工做。要提升Linux系統下的負載能力，當網站發展起來以後，web鏈接數過多的問題就會日益明顯。在節省成本的狀況下，能夠考慮修改Linux 的內核TCP/IP參數來部分實現；若是經過修改內核參數也沒法解決的負載問題，也只能考慮升級服務器了。

Linux系統下，TCP/IP鏈接斷開後，會以TIME_WAIT狀態保留必定的時間，而後纔會釋放端口。當併發請求過多的時候，就會產生大量的 TIME_WAIT狀態的鏈接，沒法及時斷開的話，會佔用大量的端口資源和服務器資源(由於關閉後進程纔會退出)。這個時候咱們能夠考慮優化TCP/IP 的內核參數，來及時將TIME_WAIT狀態的端口清理掉。

本文介紹的方法只對擁有大量TIME_WAIT狀態的鏈接致使系統資源消耗有效，不是這個緣由的狀況下，效果可能不明顯。那麼，到哪兒去查TIME_WAIT狀態的鏈接呢？那就是使用netstat命令。咱們能夠輸入一個複覈命令，去查看當前TCP/IP鏈接的狀態和對應的個數：
# netstat -an | awk '/^tcp/ {++s[$NF]} END {for(a in s) print a, s[a]}'

這個命令會顯示出相似下面的結果：
TIME_WAIT 63648
FIN_WAIT1 3
FIN_WAIT2 4
ESTABLISHED 184
LISTEN 17

咱們只用關心TIME_WAIT的個數，在這裏能夠看到，有6w多個TIME_WAIT，這樣就佔用了6w多個端口。要知道端口的數量只有65535個，佔用一個少一個，會嚴重的影響到後繼的新鏈接。這種狀況下，咱們就有必要調整下Linux的TCP/IP內核參數，讓系統更快的釋放 TIME_WAIT鏈接。

咱們用vim打開配置文件：
# vim /etc/sysctl.conf

而後，在這個文件中，加入下面的幾行內容：
    net.ipv4.tcp_syncookies = 1
    net.ipv4.tcp_tw_reuse = 1
    net.ipv4.tcp_tw_recycle = 1
    net.ipv4.tcp_fin_timeout = 5

最後輸入下面的命令，讓內核參數生效：
# /sbin/sysctl -p

簡單的說明下，上面的參數的含義：
net.ipv4.tcp_syncookies = 1 表示開啓SYN Cookies。當出現SYN等待隊列溢出時，啓用cookies來處理，可防範少許SYN***，默認爲0，表示關閉；

net.ipv4.tcp_tw_reuse = 1 表示開啓重用。容許將TIME-WAIT sockets從新用於新的TCP鏈接，默認爲0，表示關閉；

net.ipv4.tcp_tw_recycle = 1 表示開啓TCP鏈接中TIME-WAIT sockets的快速回收，默認爲0，表示關閉；

net.ipv4.tcp_fin_timeout 修改系統默認的 TIMEOUT 時間。

在通過這樣的調整以後，除了會進一步提高服務器的負載能力以外，還可以防護必定程度的DDoS、CC和SYN***，是個一箭雙鵰的作法。

此外，若是你的鏈接數自己就不少，咱們能夠再優化一下TCP/IP的可以使用端口範圍，進一步提高服務器的併發能力。依然是往上面的參數文件中，加入下面這些配置：
    net.ipv4.tcp_keepalive_time = 1200
    net.ipv4.ip_local_port_range = 10000 65000
    net.ipv4.tcp_max_syn_backlog = 8192
    net.ipv4.tcp_max_tw_buckets = 5000

這幾個參數，建議只在流量很是大的服務器上開啓，會有顯著的效果。通常的流量小的服務器上，沒有必要去設置這幾個參數。這幾個參數的含義以下：

net.ipv4.tcp_keepalive_time = 1200 表示當keepalive起用的時候，TCP發送keepalive消息的頻度。缺省是2小時，改成20分鐘。

net.ipv4.ip_local_port_range = 10000 65000 表示用於向外鏈接的端口範圍。缺省狀況下很小：32768到61000，改成10000到65000。(注意：這裏不要將最低值設的過低，不然可能會佔用掉正常的端口！)
net.ipv4.tcp_max_syn_backlog = 8192 表示SYN隊列的長度，默認爲1024，加大隊列長度爲8192，能夠容納更多等待鏈接的網絡鏈接數。

net.ipv4.tcp_max_tw_buckets = 5000 表示系統同時保持TIME_WAIT的最大數量，若是超過這個數字，TIME_WAIT將馬上被清除並打印警告信息。默認爲180000，改成5000。對於Apache、Nginx等服務器，上幾行的參數能夠很好地減小TIME_WAIT套接字數量，可是對於 Squid，效果卻不大。此項參數能夠控制TIME_WAIT的最大數量，避免Squid服務器被大量的TIME_WAIT拖死。

通過這樣的配置以後，你的服務器的TCP/IP併發能力又會上一個新臺階。在存在大量短鏈接的狀況下，Linux的TCP棧通常都會生成大量的 TIME_WAIT 狀態的socket。
# netstat -ant|grep -i time_wait |wc -l

可能會超過三四萬。這個時候，咱們須要修改 linux kernel 的 tcp time wait的時間，有個 sysctl 參數貌似可使用，它是 /proc/sys/net/ipv4/tcp_fin_timeout，缺省值是 60，也就是60秒，不少網上的資料都說將這個數值設置低一些就能夠減小netstat 裏面的TIME_WAIT狀態，可是這個說法不是很準確的。通過認真閱讀Linux的內核源代碼，咱們發現這個數值實際上是輸出用的，修改以後並無真正的讀回內核中進行使用，而內核中真正管用的是一個宏定義，在 $KERNEL/include/net/tcp.h裏面，有下面的行：
    　　#define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT
    　　* state, about 60 seconds */
    　　而這個宏是真正控制 TCP TIME_WAIT 狀態的超時時間的。若是咱們但願減小 TIME_WAIT 狀態的數目(從而節省一點點內核操做時間)，那麼能夠把這個數值設置低一些，根據咱們的測試，設置爲 10 秒比較合適，也就是把上面的修改成：
    　　#define TCP_TIMEWAIT_LEN (10*HZ) /* how long to wait to destroy TIME-WAIT
    　　* state, about 60 seconds */

　　而後從新編譯內核，重啓系統便可發現短鏈接形成的TIME_WAIT狀態大大減小： 　　netstat -ant | grep -i time_wait |wc -l 　　通常狀況均可以致少減小2/3。也能相應提升系統應對短鏈接的速度