HttpClient鏈接池拋出大量ConnectionPoolTimeoutException

今天解決了一個HttpClient的異常，汗啊，一個HttpClient使用稍有不慎都會是毀滅級別的啊。

這裏有以前由於route配置不當致使服務器異常的一個處理：http://blog.csdn.net/shootyou/article/details/6415248

裏面的HttpConnectionManager實現就是我在這裏使用的實現。

 

問題表現：

tomcat後臺日誌發現大量異常

 

[plain] view plain copy

 print?

1. org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection  

時間一長tomcat就沒法繼續處理其餘請求，從假死變成真死了。

 

linux運行：

[plain] view plain copy

 print?

1. netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'  

發現CLOSE_WAIT的數量始終在400以上，一直沒降過。

 

 

問題分析：

一開始我對個人HttpClient使用過程深信不疑，我不認爲異常是來自這裏。

因此我開始從TCP的鏈接狀態入手，猜想可能致使異常的緣由。之前常常遇到TIME_WAIT數過大致使的服務器異常，很容易解決，修改下sysctl就ok了。可是此次是CLOSE_WAIT，是徹底不一樣的概念了。

關於TIME_WAIT和CLOSE_WAIT的區別和異常處理我會單獨起一篇文章詳細說說個人理解。

 

簡單來講CLOSE_WAIT數目過大是因爲被動關閉鏈接處理不當致使的。

我說一個場景，服務器A會去請求服務器B上面的apache獲取文件資源，正常狀況下，若是請求成功，那麼在抓取完資源後服務器A會主動發出關閉鏈接的請求，這個時候就是主動關閉鏈接，鏈接狀態咱們能夠看到是TIME_WAIT。若是一旦發生異常呢？假設請求的資源服務器B上並不存在，那麼這個時候就會由服務器B發出關閉鏈接的請求，服務器A就是被動的關閉了鏈接，若是服務器A被動關閉鏈接以後本身並無釋放鏈接，那就會形成CLOSE_WAIT的狀態了。

因此很明顯，問題仍是處在程序裏頭。

 

先看看個人HttpConnectionManager實現：

 

[java] view plain copy

 print?

1. public class HttpConnectionManager {   
2.   
3.     private static HttpParams httpParams;  
4.     private static ClientConnectionManager connectionManager;  
5.   
6.     /** 
7.      * 最大鏈接數 
8.      */  
9.     public final static int MAX_TOTAL_CONNECTIONS = 800;  
10.     /** 
11.      * 獲取鏈接的最大等待時間 
12.      */  
13.     public final static int WAIT_TIMEOUT = 60000;  
14.     /** 
15.      * 每一個路由最大鏈接數 
16.      */  
17.     public final static int MAX_ROUTE_CONNECTIONS = 400;  
18.     /** 
19.      * 鏈接超時時間 
20.      */  
21.     public final static int CONNECT_TIMEOUT = 10000;  
22.     /** 
23.      * 讀取超時時間 
24.      */  
25.     public final static int READ_TIMEOUT = 10000;  
26.   
27.     static {  
28.         httpParams = new BasicHttpParams();  
29.         // 設置最大鏈接數  
30.         ConnManagerParams.setMaxTotalConnections(httpParams, MAX_TOTAL_CONNECTIONS);  
31.         // 設置獲取鏈接的最大等待時間  
32.         ConnManagerParams.setTimeout(httpParams, WAIT_TIMEOUT);  
33.         // 設置每一個路由最大鏈接數  
34.         ConnPerRouteBean connPerRoute = new ConnPerRouteBean(MAX_ROUTE_CONNECTIONS);  
35.         ConnManagerParams.setMaxConnectionsPerRoute(httpParams,connPerRoute);  
36.         // 設置鏈接超時時間  
37.         HttpConnectionParams.setConnectionTimeout(httpParams, CONNECT_TIMEOUT);  
38.         // 設置讀取超時時間  
39.         HttpConnectionParams.setSoTimeout(httpParams, READ_TIMEOUT);  
40.   
41.         SchemeRegistry registry = new SchemeRegistry();  
42.         registry.register(new Scheme("http", PlainSocketFactory.getSocketFactory(), 80));  
43.         registry.register(new Scheme("https", SSLSocketFactory.getSocketFactory(), 443));  
44.   
45.         connectionManager = new ThreadSafeClientConnManager(httpParams, registry);  
46.     }  
47.   
48.     public static HttpClient getHttpClient() {  
49.         return new DefaultHttpClient(connectionManager, httpParams);  
50.     }  
51.   
52. }  

 

 

看到沒MAX_ROUTE_CONNECTIONS 正好是400，跟CLOSE_WAIT很是接近啊，難道是巧合？繼續往下看。

而後看看調用它的代碼是什麼樣的：

 

[java] view plain copy

 print?

1. public static String readNet (String urlPath)  
2.     {  
3.         StringBuffer sb = new StringBuffer ();  
4.         HttpClient client = null;  
5.         InputStream in = null;  
6.         InputStreamReader isr = null;  
7.         try  
8.         {  
9.             client = HttpConnectionManager.getHttpClient();  
10.             HttpGet get = new HttpGet();  
11.             get.setURI(new URI(urlPath));  
12.             HttpResponse response = client.execute(get);  
13.             if (response.getStatusLine ().getStatusCode () != 200) {  
14.                 return null;  
15.             }  
16.             HttpEntity entity =response.getEntity();  
17.               
18.             if( entity != null ){  
19.                 in = entity.getContent();  
20.                 .....  
21.             }  
22.             return sb.toString ();  
23.               
24.         }  
25.         catch (Exception e)  
26.         {  
27.             e.printStackTrace ();  
28.             return null;  
29.         }  
30.         finally  
31.         {  
32.             if (isr != null){  
33.                 try  
34.                 {  
35.                     isr.close ();  
36.                 }  
37.                 catch (IOException e)  
38.                 {  
39.                     e.printStackTrace ();  
40.                 }  
41.             }  
42.             if (in != null){  
43.                 try  
44.                 {  
45.                     <span style="color:#ff0000;">in.close ();</span>  
46.                 }  
47.                 catch (IOException e)  
48.                 {  
49.                     e.printStackTrace ();  
50.                 }  
51.             }  
52.         }  
53.     }  

很簡單，就是個遠程讀取中文頁面的方法。值得注意的是這一段代碼是後來某某同窗加上去的，看上去沒啥問題，是用於非200狀態的異常處理：

 

 

[java] view plain copy

 print?

1. if (response.getStatusLine ().getStatusCode () != 200) {  
2.                 return null;  
3.             }  

代碼自己沒有問題，可是問題是放錯了位置。若是這麼寫的話就沒問題：

 

 

[java] view plain copy

 print?

1. client = HttpConnectionManager.getHttpClient();  
2.             HttpGet get = new HttpGet();  
3.             get.setURI(new URI(urlPath));  
4.             HttpResponse response = client.execute(get);  
5.               
6.             HttpEntity entity =response.getEntity();  
7.               
8.             if( entity != null ){  
9.                 in = entity.getContent();  
10.             ..........  
11.             }  
12.               
13.             if (response.getStatusLine ().getStatusCode () != 200) {  
14.                 return null;  
15.             }  
16.             return sb.toString ();  

看出毛病了吧。在這篇入門（HttpClient4.X 升級 入門 + http鏈接池使用）裏頭我提到了HttpClient4使用咱們經常使用的InputStream.close()來確認鏈接關閉，前面那種寫法InputStream in 根本就不會被賦值，意味着一旦出現非200的鏈接，這個鏈接將永遠僵死在鏈接池裏頭，太恐怖了。。。因此咱們看到CLOST_WAIT數目爲400，由於對一個路由的鏈接已經徹底被僵死鏈接佔滿了。。。

 

其實上面那段代碼還有一個沒處理好的地方，異常處理不夠嚴謹，因此最後我把代碼改爲了這樣：

 

[java] view plain copy

 print?

1. public static String readNet (String urlPath)  
2.     {  
3.         StringBuffer sb = new StringBuffer ();  
4.         HttpClient client = null;  
5.         InputStream in = null;  
6.         InputStreamReader isr = null;  
7.         HttpGet get = new HttpGet();  
8.         try  
9.         {  
10.             client = HttpConnectionManager.getHttpClient();  
11.             get.setURI(new URI(urlPath));  
12.             HttpResponse response = client.execute(get);  
13.             if (response.getStatusLine ().getStatusCode () != 200) {  
14.                 get.abort();  
15.                 return null;  
16.             }  
17.             HttpEntity entity =response.getEntity();  
18.               
19.             if( entity != null ){  
20.                 in = entity.getContent();  
21.                 ......  
22.             }  
23.             return sb.toString ();  
24.               
25.         }  
26.         catch (Exception e)  
27.         {  
28.             get.abort();  
29.             e.printStackTrace ();  
30.             return null;  
31.         }  
32.         finally  
33.         {  
34.             if (isr != null){  
35.                 try  
36.                 {  
37.                     isr.close ();  
38.                 }  
39.                 catch (IOException e)  
40.                 {  
41.                     e.printStackTrace ();  
42.                 }  
43.             }  
44.             if (in != null){  
45.                 try  
46.                 {  
47.                     in.close ();  
48.                 }  
49.                 catch (IOException e)  
50.                 {  
51.                     e.printStackTrace ();  
52.                 }  
53.             }  
54.         }  
55.     }  

 

 

顯示調用HttpGet的abort，這樣就會直接停止此次鏈接，咱們在遇到異常的時候應該顯示調用，由於誰能保證異常是在InputStream in賦值以後才拋出的呢。

 

好了 ，分析完畢，明天準備總結下CLOSE_WAIT和TIME_WAIT的區別。