HTTP長鏈接、短鏈接使用及測試

概念

HTTP短鏈接（非持久鏈接）是指，客戶端和服務端進行一次HTTP請求/響應以後，就關閉鏈接。因此，下一次的HTTP請求/響應操做就須要從新創建鏈接。
HTTP長鏈接（持久鏈接）是指，客戶端和服務端創建一次鏈接以後，能夠在這條鏈接上進行屢次請求/響應操做。持久鏈接能夠設置過時時間，也能夠不設置。

我爲何沒有說HTTP/1.0 默認短鏈接，HTTP/1.1起，默認長鏈接呢？由於我第一次看這個說法的時候，覺得本身懂了，其實並無懂。長短鏈接操做上有什麼區別，有的地方出現的持久鏈接又是怎麼回事？

使用設置

這裏的設置，咱們都以HTTP1.1協議爲例子。

設置HTTP短鏈接

在首部字段中設置Connection:close，則在一次請求/響應以後，就會關閉鏈接。

設置HTTP長鏈接，有過時時間

在首部字段中設置Connection:keep-alive 和Keep-Alive: timeout=60，代表鏈接創建以後，空閒時間超過60秒以後，就會失效。若是在空閒第58秒時，再次使用此鏈接，則鏈接仍然有效，使用完以後，從新計數，空閒60秒以後過時。

設置HTTP長鏈接，無過時時間

在首部字段中只設置Connection:keep-alive，代表鏈接永久有效。

實現原理

瞭解怎麼設置以後，就開始用起來。然而，問題來了。在請求頭中設置Connection:keep-alive，爲何鏈接空閒一段時間以後，仍是斷開了呢？這是由於connection字段只有服務端設置纔有效。

HTTP操做是請求/響應成對出現的，即先有客戶端發出請求，後有服務端處理請求。因此，一次HTTP操做的終點操做在服務端上，關閉也是由服務端發起的。
接下來咱們作作測試，以及show code。下面的測試都是使用Spring RestTemplate，封裝apache http client進行的。爲方便講解代碼，先說明長鏈接的狀況，最後再對其餘形式作測試總結。

客戶端鏈接失效時間大於服務端失效時間

以下，爲請求日誌。客戶端設置Connection: Keep-Alive和Keep-Alive: timeout=60， 服務端設置Connection: Keep-Alive和Keep-Alive: timeout=5。

## 客戶端設置有效期爲60s[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "POST /adx-api/api/creative/upload HTTP/1.1[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Accept: application/json, application/*+json, text/html, application/json, text/javascript[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Content-Type: application/json;charset=UTF-8[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Accept-Encoding: gzip,deflate[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Accept-Language: zh-CN[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Connection: keep-alive[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Keep-Alive: timeout=60[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Content-Length: 396[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Host: bizdomain[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "request data"##服務端設置有效期爲5s[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "HTTP/1.1 200 OK[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Date: Wed, 26 Apr 2017 06:07:58 GMT[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Server: Apache-Coyote/1.1[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Content-Type: text/html;charset=utf-8[\r][\n]"[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Keep-Alive: timeout=5, max=100[\r][\n]"[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Connection: Keep-Alive[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Transfer-Encoding: chunked[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "63[\r][\n]"
[2017-04-26 14:08:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "response data"

客戶端設置的有效期大於服務端的，那麼實際鏈接的有效期呢？三分鐘以後再次請求，從鏈接池中lease鏈接的時候，提示Connection expired @ Wed Apr 26 14:08:05，即在上一次請求以後的5s失效，說明是服務端的設置生效了。

[2017-04-26 14:11:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {}->http://bizdomain:80][total kept alive: 1; route allocated: 1 of 32; total allocated: 1 of 200]
[2017-04-26 14:11:00 DEBUG] (org.apache.http.impl.conn.CPool:?) - Connection [id:2][route:{}->http://bizdomain:80][state:null] expired @ Wed Apr 26 14:08:05 GMT+08:00 2017

源碼分析

經過源代碼瞭解一下鏈接失效時間的設置過程。

//org.apache.http.impl.execchain.MainClientExec#execute......//從鏈接池中lease connectionfinal HttpClientConnectionmanagedConn = connRequest.get(timeout > 0 ? timeout : 0, TimeUnit.MILLISECONDS);

......//將conenction封裝在ConnectionHolder中final ConnectionHolder connHolder = new ConnectionHolder(this.log, this.connManager, managedConn);

......// The connection is in or can be brought to a re-usable state.//若是返回值消息頭中connection設置爲close，則返回falseif (reuseStrategy.keepAlive(response, context)) {    // Set the idle duration of this connection
    //取出response消息頭中，keep-alive的timeout值
    final long duration = keepAliveStrategy.getKeepAliveDuration(response, context);    if (this.log.isDebugEnabled()) {        final String s;        if (duration > 0) {
            s = "for " + duration + " " + TimeUnit.MILLISECONDS;
        } else {
            s = "indefinitely";
        }        this.log.debug("Connection can be kept alive " + s);
    }    //設置失效時間
    connHolder.setValidFor(duration, TimeUnit.MILLISECONDS);
    connHolder.markReusable();
} else {
    connHolder.markNonReusable();
}

待讀取響應以後，釋放鏈接，即：connHolder.releaseConnection()。調用org.apache.http.impl.conn.PoolingHttpClientConnectionManager#releaseConnection方法。

    @Override
    public void releaseConnection(final HttpClientConnection managedConn, 
            final Object state,final long keepalive, final TimeUnit tunit) {
        Args.notNull(managedConn, "Managed connection");        synchronized (managedConn) {            final CPoolEntry entry = CPoolProxy.detach(managedConn);            if (entry == null) {                return;
            }            final ManagedHttpClientConnection conn = entry.getConnection();            try {                if (conn.isOpen()) {                    final TimeUnit effectiveUnit = tunit != null ? tunit : TimeUnit.MILLISECONDS;
                    entry.setState(state);                    //設置失效時間
                    entry.updateExpiry(keepalive, effectiveUnit);
                }
            } finally {
            。。。。。。
                }
            }
        }
    }

而後再下一次HTTP操做，從鏈接池中獲取鏈接時

//org.apache.http.impl.conn.PoolingHttpClientConnectionManager#requestConnection調用org.apache.http.pool.AbstractConnPool#lease，//調用getPoolEntryBlocking,調用org.apache.http.impl.conn.CPoolEntry#isExpired@Overridepublic boolean isExpired(final long now) {    final boolean expired = super.isExpired(now);    if (expired && this.log.isDebugEnabled()) {    //日誌中看到的內容
        this.log.debug("Connection " + this + " expired @ " + new Date(getExpiry()));
    }    return expired;
}

綜上，鏈接的實際有效時間，是根據response的設置來決定的。

其餘狀況測試

• 客戶端設置Connection: Close

##connection:close請求，kept alive的鏈接爲0[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {}->http://bizdomain:80][total kept alive: 0; route allocated: 0 of 32; total allocated: 0 of 200]
[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection leased: [id: 0][route: {}->http://bizdomain:80][total kept alive: 0; route allocated: 1 of 32; total allocated: 1 of 200]
[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.execchain.MainClientExec:?) - Opening connection {}->http://bizdomain:80
[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.conn.DefaultHttpClientConnectionOperator:?) - Connecting to bizdomain/127.0.0.195:80## 創建新鏈接[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.conn.DefaultHttpClientConnectionOperator:?) - Connection established 127.0.0.191:49239<->127.0.0.195:80## 客戶端設置短鏈接[2017-04-26 13:57:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Connection: Close[\r][\n]"## 服務端返回的也是短鏈接[2017-04-26 13:57:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Connection: close[\r][\n]"

##請求完以後，關閉鏈接
[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.conn.DefaultManagedHttpClientConnection:?) - http-outgoing-0: Close connection[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.execchain.MainClientExec:?) - Connection discarded[2017-04-26 13:57:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection released: [id: 0][route: {}->http://bizdomain:80][total kept alive: 0; route allocated: 0 of 32; total allocated: 0 of 200]

如上，當服務端返回Connection: Close時，客戶端接收完響應，便會關閉鏈接。

• 客戶端設置60s超時，服務端設置5s超時

##Keep-Alive: timeout=60 第一次請求,與connection:close無差異[2017-04-26 10:57:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {}->http://bizdomain:80][total kept alive: 0; route allocated: 0 of 32; total allocated: 0 of 200]
[2017-04-26 10:57:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection leased: [id: 0][route: {}->http://bizdomain:80][total kept alive: 0; route allocated: 1 of 32; total allocated: 1 of 200]
[2017-04-26 10:57:00 DEBUG]  (org.apache.http.impl.execchain.MainClientExec:?) - Opening connection {}->http://bizdomain:80## 客戶端設置超時時間60s[2017-04-26 10:57:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Connection: keep-alive[\r][\n]"
[2017-04-26 10:57:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Keep-Alive: timeout=60[\r][\n]"## 服務端設置超時時間5s[2017-04-26 10:57:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Keep-Alive: timeout=5, max=100[\r][\n]"[2017-04-26 10:57:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Connection: Keep-Alive[\r][\n]"
## 服務端設置生效，鏈接能夠保持5s[2017-04-26 10:57:00 DEBUG]  (org.apache.http.impl.execchain.MainClientExec:?) - Connection can be kept alive for 5000 MILLISECONDS[2017-04-26 10:57:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection [id: 0][route: {}->http://bizdomain:80] can be kept alive for 5.0 seconds
[2017-04-26 10:57:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection released: [id: 0][route: {}->http://bizdomain:80][total kept alive: 1; route allocated: 1 of 32; total allocated: 1 of 200]##Keep-Alive: timeout=60 非第一次請求[2017-04-26 14:11:00 DEBUG]  (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {}->http://bizdomain:80][total kept alive: 1; route allocated: 1 of 32; total allocated: 1 of 200]## 鏈接在上一次請求結束後5s失效[2017-04-26 14:11:00 DEBUG]  (org.apache.http.impl.conn.CPool:?) - Connection [id:2][route:{}->http://bizdomain:80][state:null] expired @ Wed Apr 26 14:10:05 GMT+08:00 2017

• 客戶端設置失效時間，服務端設置不失效

## 客戶端設置30s超時[2017-04-26 17:45:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Connection: keep-alive[\r][\n]"
[2017-04-26 17:45:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 >> "Keep-Alive: timeout=30[\r][\n]"## 服務端設置永久鏈接[2017-04-26 17:45:00 DEBUG]  (org.apache.http.wire:?) - http-outgoing-0 << "Connection: keep-alive[\r][\n]"
## 鏈接將一直保持
[2017-04-26 17:45:00 DEBUG]  (org.apache.http.impl.execchain.MainClientExec:?) - Connection can be kept alive indefinitely

綜上，http鏈接保持時間是由服務端的消息頭connection字段和keep-alive字段定的。

在上面前兩種狀況，請求的是同一個服務端，那麼爲何一個返回的是短鏈接，一個返回的是長鏈接呢？這裏轉一下 這篇文章的解釋：

不論request仍是response的header中包含了值爲close的connection，都代表當前正在使用的tcp連接在請求處理完畢後會被斷掉。之後client再進行新的請求時就必須建立新的tcp連接了。 HTTP Connection的 close設置容許客戶端或服務器中任何一方關閉底層的鏈接，雙方都會要求在處理請求後關閉它們的TCP鏈接。

補充

• TCP長短鏈接
  在網上搜資料的時候，看到不少「HTTP協議的長鏈接和短鏈接，實質上是TCP協議的長鏈接和短鏈接」。 HTTP和TCP是不一樣兩層的東西，它們怎麼會是同樣的呢？HTTP是請求/響應模式的，就是說咱們發一個請求必定要有一個迴應。最直觀的就是，瀏覽器上發請求，得不到響應就會一直轉圈圈。 而TCP並非必定要有響應。你們之前使用socket模擬一個IM聊天，A跟B打完招呼，徹底能夠不用等待B的迴應，就本身關掉鏈接的。

• TCP keep-alive
  另外還有HTTP協議的keep-alive和TCP的keep-alive含義是有差異的。HTTP的keep-alive是爲了維持鏈接，以便複用鏈接。經過使用keep-alive機制，能夠減小tcp鏈接創建次數，也意味着能夠減小TIME_WAIT狀態鏈接，以此提升性能和提升httpd服務器的吞吐率(更少的tcp鏈接意味着更少的系統內核調用,socket的accept()和close()調用)。可是，長時間的tcp鏈接容易致使系統資源無效佔用。配置不當的keep-alive，有時比重複利用鏈接帶來的損失還更大。

而tcp keep-alive是TCP的一種檢測TCP鏈接情況的機制，涉及到三個參數tcp_keepalive_time, tcp_keepalive_intvl, tcp_keepalive_probes。當網絡兩端創建了TCP鏈接以後，閒置（雙方沒有任何數據流往來）了tcp_keepalive_time後，服務器內核就會嘗試向客戶端發送偵測包，來判斷TCP鏈接情況(有可能客戶端崩潰、強制關閉了應用、主機不可達等等)。若是沒有收到對方的回答(ack包)，則會在 tcp_keepalive_intvl後再次嘗試發送偵測包，直到收到對方的ack。若是一直沒有收到對方的ack,一共會嘗試 tcp_keepalive_probes次。若是嘗試tcp_keepalive_probes,依然沒有收到對方的ack包，則會丟棄該TCP鏈接。TCP鏈接默認閒置時間是2小時，通常設置爲30分鐘足夠了。