使用Redis管道提高性能

首發於 樊浩柏科學院

Redis 的 管道 （pipelining）是用來打包多條無關命令批量執行，以減小多個命令分別執行帶來的網絡交互時間。在一些批量操做數據的場景，使用管道能夠顯著提高 Redis 的讀寫性能。

原理演示

Redis 的管道實質就是命令打包批量執行，屢次網絡交互減小到單次。使用管道和不使用管道時的交互過程以下：

咱們使用 nc 命令來直觀感覺下 Redis 管道的使用過程：

# 安裝nc命令
$ yum install nc
# nc打包多個命令
$ (printf "PING\r\nPING\r\nPING\r\n") | nc localhost 6379
# 響應
+PONG
+PONG
+PONG

所以，只要經過管道進行命令打包後，Redis 就能夠批量返回命令的執行結果了。

管道的應用

首先，構造示例須要的 Hash 用戶數據：

$keyPrex = 'user:hash:u:';
for ($i=1; $i<=10000; $i++) {
    $redis->hMset($keyPrex.$i, [
        'name'   => name(),       //name()函數生成隨機姓名
        'age'    => rand(21, 30),
        'sex'    => rand(0, 1),
        'is_new' => rand(0, 1)
    ]);
}

而後，查看導入 Redis 中的數據：

127.0.0.1:6379> keys user:hash:u:*
 9997) "user:hash:u:3013"
 9998) "user:hash:u:8971"
 9999) "user:hash:u:4761"
10000) "user:hash:u:1828"

127.0.0.1:6379> HGETALL user:hash:u:1828
1) "name"
2) "ggrg"
3) "age"
4) "23"
5) "sex"
6) "0"
7) "is_new"
8) "1"

需求

在某個社交活動中，經過一系列篩選邏輯後取得種子用戶 uid，而後用這些 uid 去 Hash 獲取用戶的信息。這種狀況下你會怎麼來處理呢？

不使用管道

通常狀況下，在數據量較小時，咱們會直接使用 HGETALL 命令遍歷地獲取用戶數據。

$start = nowTime();
foreach (range(1, 1000) as $id) {
    $user[] = $redis->hgetAll($keyPrex.$id);
}
echo '時間：', nowTime() - $start, 'ms', PHP_EOL;

時間：39ms

執行所用時間：39ms

使用管道

由於經過 uid 批量獲取用戶數據，各個命令並無依賴關係，因此可使用 Redis 的管道來優化查詢。

$start = nowTime();
$redis->multi(Redis::PIPELINE);
foreach (range(1, 1000) as $id) {
    //返回資源id相同的socket資源，並未執行命令
    $redis->hgetAll($keyPrex.$id);  
}
$user = $redis->exec();
echo '時間：', nowTime() - $start, 'ms', PHP_EOL;

時間：6ms

使用管道後，執行時間顯著地減小爲：6ms。使用 tcpdump 抓取打包後的命令以下：

10:45:03.029049 IP localhost.58176 > localhost.6379: Flags [P.], seq 2255478840:2255479211, ack 3144685411, win 342, options [nop,nop,TS val 17640474 ecr 17640474], length 371
E..../@.@.o..........@...o.8.p.c...V.......
,.*2
$7
HGETALL
$13
user:hash:u:1
*2
$7
HGETALL
$13
user:hash:u:2
*2
$7
... ...

適用場景

在批量操做（查詢和寫入）數據時，咱們應儘可能避免屢次跟 Redis 的網絡交互。這時，可使用管道實現，也能夠 Redis 內嵌 Lua 腳本實現。須要注意的是：

• 管道只適用於無因果關聯的多命令操做，不然就須要藉助 Lua 腳本實現批量操做；
• 在實際應用中，Redis 每每不多是單機部署，若是想要在集羣中使用管道，能夠部署爲一主多從架構，此時全部節點的數據都一致，隨機選取節點使用管道便可；

總結

在批量獲取數據時，儘管使用 Redis 的管道性能會顯著提高，可是使用管道時 Redis 會緩存以前命令的結果，最後一併輸出給終端，所以所打包的命令不宜太多，不然內存使用會很嚴重。