談一談對象池SafeObjectPool能幹什麼

前言

首先從ado.net的鏈接池開始瞭解，數據庫操做一般是 new SqlConnection()、 Open()、 使用完後 Close()，整個過程至關耗時，特別是頻繁建議套字接鏈接的過程。ado.net 驅動已經現實了鏈接池管理，Open() 等於申請鏈接，Close() 即歸還資源。

Open() 的時候有幾種狀況：

一、有資源直接返回；

二、無可用資源，且未超過池最大設置值時，建立資源並返回；

三、無可用資源，此時會等待設置秒數，若仍然未獲取資源則報錯；

鏈接的複用使性能成數倍提高，試想網站在某一時刻忽然爆增10萬次，new 10萬個SqlConnection對象顯然會炸掉服務，建立，connect，disconnect，disponse，顯然開銷很大。

雖然ado.net自帶的鏈接池已經接近完美，但在某些場合還不夠用，先來一個壓力測試。

SafeObjectPool與dapper比武測試

[HttpGet("vs_gen")]
async public Task<object> vs_gen() {
    var select = Tag.Select;
    var count = await select.CountAsync();
    var items = await select.Page(page, limit).ToListAsync();

    return new { count, items };
}

[HttpGet("vs_dapper")]
async public Task<object> vs_dapper() {
    var conn = new SqlConnection("Data Source=.;Integrated Security=True;Initial Catalog=cms;Pooling=true;Max Pool Size=11");
    conn.Open();
    var count = await conn.ExecuteScalarAsync<int>("SELECT count(1) FROM[dbo].[tag] a");
    //conn.Close();

    //conn = new SqlConnection("Data Source=.;Integrated Security=True;Initial Catalog=cms;Pooling=true;Max Pool Size=11");
    //conn.Open();
    var items = await conn.QueryAsync("SELECT TOP 20 a.[id], a.[parent_id], a.[name] FROM[dbo].[tag] a");
    conn.Close();

    return new { count, items };
}

鏈接池最大分別爲：10，11

使用 apache ab 命令行測試上面兩個接口

ab -c 10 -n 1000 -s 6000 測試結果差很少。

-c 100 時，vs_dapper直接掛了，vs_gen沒影響（使用了SafeObjectPool）

實踐證實ado.net過於暴露，忽然的高併發招架不住。

SafeObjectPool

它是一個對象池，可用於控制任何資源緊缺的對象，使用容器化管重複使用提高性能，有序的排隊獲取，使用完後歸還資源。

與ado.net鏈接池不一樣的地方，SafeObjectPool 解決池用盡後，再請求不報錯，進行排隊等待機制，而且適用任何對象不侷限於數據庫鏈接對象。

SafeObjectPool 提供可用性檢查方法，好比 redisClient 不可用時，全部Get/GetAsync都將報錯，直到後臺服務檢查並恢復狀態。

使用方法

Install-Package SafeObjectPool

var pool = new SafeObjectPool.ObjectPool<MemoryStream>(10, () => new MemoryStream(), obj => {
    if (DateTime.Now.Subtract(obj.LastGetTime).TotalSeconds > 5) {
        // 對象超過5秒未活動，進行操做
    }
});

var obj = pool.Get(); //借
pool.Return(obj); //歸還

//或者 using 自動歸還
using (var obj = pool.Get()) {
}

異常

• 同步獲取資源時 pool.Get()

【鏈接池名稱】狀態不可用，等待後臺檢查程序恢復方可以使用。

SafeObjectPool.Get 獲取超時（10秒），設置 Policy.IsThrowGetTimeoutException 能夠避免該異常。

• 異步獲取資源時 pool.GetAsync()

【鏈接池名稱】狀態不可用，等待後臺檢查程序恢復方可以使用。

SafeObjectPool.GetAsync 無可用資源且隊列過長，Policy.AsyncGetCapacity =10000。

• 後臺服務檢查可用性時

CheckAvailable 沒法得到資源，Pool: 0/10, Get Wait: 0, GetAsync Wait: 0

---

擴展示實

SQLServer鏈接池

查看源碼

var pool = new System.Data.SqlClient.SqlConnectionPool("名稱", connectionString, 可用時觸發的委託, 不可用時觸發的委託);
var conn = pool.Get();

try {
    // 使用 ...
    pool.Return(conn); //正常歸還
} catch (Exception ex) {
    pool.Return(conn, ex); //發生錯誤時歸還
}

MySQL鏈接池

查看源碼

var pool = new MySql.Data.MySqlClient.MySqlConnectionPool("名稱", connectionString, 可用時觸發的委託, 不可用時觸發的委託);
var conn = pool.Get();

try {
    // 使用 ...
    pool.Return(conn); //正常歸還
} catch (Exception ex) {
    pool.Return(conn, ex); //發生錯誤時歸還
}

PostgreSQL鏈接池

查看源碼

var pool = new Npgsql.NpgsqlConnectionPool("名稱", connectionString, 可用時觸發的委託, 不可用時觸發的委託);
var conn = pool.Get();

try {
    // 使用 ...
    pool.Return(conn); //正常歸還
} catch (Exception ex) {
    pool.Return(conn, ex); //發生錯誤時歸還
}

結語

本文由 ado.net 鏈接池，衍生到 SafeObjectPool，基於 SafeObjectPool 現實了 SQLServer鏈接池、MySQL鏈接池、PostgreSQL鏈接池。還有不少鏈接對象，好比redis client、rpc client、各大消息隊列client，均可以封裝起來。

謝謝觀看，支持開源思想和奉獻。

SafeObjectPool github：https://github.com/2881099/SafeObjectPool