Linux下高併發網絡編程

  Linux下高併發網絡編程

一、修改用戶進程可打開文件數限制

在Linux平臺上，不管編寫客戶端程序仍是服務端程序，在進行高併發TCP鏈接處理時，

最高的併發數量都要受到系統對用戶單一進程同時可打開文件數量的限制(這是由於系統

爲每一個TCP鏈接都要建立一個socket句柄，每一個socket句柄同時也是一個文件句柄)。

可以使用ulimit命令查看系統容許當前用戶進程打開的文件數限制：    

[speng@as4 ~]$ ulimit -n

1024

這表示當前用戶的每一個進程最多容許同時打開1024個文件，這1024個文件中還得除去

每一個進程必然打開的標準輸入，標準輸出，標準錯誤，服務器監聽 socket，

進程間通信的unix域socket等文件，那麼剩下的可用於客戶端socket鏈接的文件數就

只有大概1024-10=1014個左右。也就是說缺省狀況下，基於Linux的通信程序最多容許

同時1014個TCP併發鏈接。

對於想支持更高數量的TCP併發鏈接的通信處理程序，就必須修改Linux對當前用戶的

進程同時打開的文件數量的軟限制(soft limit)和硬限制(hardlimit)。其中軟限制

是指Linux在當前系統可以承受的範圍內進一步限制用戶同時打開的文件數；硬限制

則是根據系統硬件資源情況(主要是系統內存)計算出來的系統最多可同時打開的文件數量。

一般軟限制小於或等於硬限制。

 

修改上述限制的最簡單的辦法就是使用ulimit命令：

[speng@as4 ~]$ ulimit -n    

上述命令中，在中指定要設置的單一進程容許打開的最大文件數。若是系統回顯

相似於「Operation notpermitted」之類的話，說明上述限制修改失敗，其實是

由於在中指定的數值超過了Linux系統對該用戶打開文件數的軟限制或硬限制。

所以，就須要修改Linux系統對用戶的關於打開文件數的軟限制和硬限制。

 

第一步，修改/etc/security/limits.conf文件，在文件中添加以下行：

speng soft nofile 10240

speng hard nofile 10240

其中speng指定了要修改哪一個用戶的打開文件數限制，可用’*'號表示修改全部用戶的限制；

soft或hard指定要修改軟限制仍是硬限制；10240則指定了想要修改的新的限制值，

即最大打開文件數(請注意軟限制值要小於或等於硬限制)。修改完後保存文件。

 

第二步，修改/etc/pam.d/login文件，在文件中添加以下行：

session required /lib/security/pam_limits.so    

這是告訴Linux在用戶完成系統登陸後，應該調用pam_limits.so模塊來設置系統對

該用戶可以使用的各類資源數量的最大限制(包括用戶可打開的最大文件數限制)，

而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設置這些限制值。

修改完後保存此文件。

 

第三步，查看Linux系統級的最大打開文件數限制，使用以下命令：

[speng@as4 ~]$ cat /proc/sys/fs/file-max

12158

這代表這臺Linux系統最多容許同時打開(即包含全部用戶打開文件數總和)12158個文件，

是Linux系統級硬限制，全部用戶級的打開文件數限制都不該超過這個數值。一般這個系統級

硬限制是Linux系統在啓動時根據系統硬件資源情況計算出來的最佳的最大同時打開文件數限制，

若是沒有特殊須要，不該該修改此限制，除非想爲用戶級打開文件數限制設置超過此限制的值。

 

修改此硬限制的方法是修改/etc/rc.local腳本，在腳本中添加以下行：

echo 22158 > /proc/sys/fs/file-max

這是讓Linux在啓動完成後強行將系統級打開文件數硬限制設置爲22158。修改完後保存此文件。

 

完成上述步驟後重啓系統，通常狀況下就能夠將Linux系統對指定用戶的單一進程容許同時

打開的最大文件數限制設爲指定的數值。若是重啓後用 ulimit-n命令查看用戶可打開文件數限制

仍然低於上述步驟中設置的最大值，這多是由於在用戶登陸腳本/etc/profile中使用ulimit -n命令

已經將用戶可同時打開的文件數作了限制。因爲經過ulimit-n修改系統對用戶可同時打開文件的

最大數限制時，新修改的值只能小於或等於上次 ulimit-n設置的值，所以想用此命令增大這個

限制值是不可能的。

因此，若是有上述問題存在，就只能去打開/etc/profile腳本文件，

在文件中查找是否使用了ulimit-n限制了用戶可同時打開的最大文件數量，若是找到，

則刪除這行命令，或者將其設置的值改成合適的值，而後保存文件，用戶退出並從新登陸系統便可。    

經過上述步驟，就爲支持高併發TCP鏈接處理的通信處理程序解除關於打開文件數量方面的系統限制。

二、修改網絡內核對TCP鏈接的有關限制

在Linux上編寫支持高併發TCP鏈接的客戶端通信處理程序時，有時會發現儘管已經解除了系統

對用戶同時打開文件數的限制，但仍會出現併發TCP鏈接數增長到必定數量時，再也沒法成功

創建新的TCP鏈接的現象。出現這種如今的緣由有多種。

 

第一種緣由多是由於Linux網絡內核對本地端口號範圍有限制。此時，進一步分析爲何沒法

創建TCP鏈接，會發現問題出在connect()調用返回失敗，查看系統錯誤提示消息是「Can’t assign requestedaddress」。同時，若是在此時用tcpdump工具監視網絡，會發現根本沒有TCP鏈接時客戶端

發SYN包的網絡流量。這些狀況說明問題在於本地Linux系統內核中有限制。

其實，問題的根本緣由

在於Linux內核的TCP/IP協議實現模塊對系統中全部的客戶端TCP鏈接對應的本地端口號的範圍

進行了限制(例如，內核限制本地端口號的範圍爲1024~32768之間)。當系統中某一時刻同時