redis aof文件過大問題

最近新安裝了一臺redis,版本爲redis-3.2.5redis

數據盤用的是固態硬盤。sql

以前用的是普通硬盤,redis日誌每天報bash

 Asynchronous AOF fsync is taking too long (disk is busy?). Writing the AOF buffer without waiting for fsync to complete, this may slow down Redis.服務器

換了固態硬盤,就沒報了。app


用了3天,發現aof文件愈來愈大。ide

-rw-r--r-- 1 root root 136672283898 Dec  9 08:50 appendonly_6379.aof優化

-rw-r--r-- 1 root root   5200941168 Dec  7 18:09 temp-rewriteaof-26452.aofthis

自己redis用了19G內存,可是aof文件達到了128Gspa

天天早上起牀都要把磁盤擴容一次才行,否則磁盤就滿了,煩死了。日誌

但是這樣下去,不能解決問題,畢竟是雲服務器,天天加錢擴容也很差。


後來在網上,發現有一個命令BGREWRITEAOF,能夠優化aof文件

步驟以下:

先進入redis

redis-cli -p 6379 -h 127.0.0.1

127.0.0.1:6379>BGREWRITEAOF


再去查看aof文件的目錄,發現多了一個文件

-rw-r--r-- 1 root root 136672283898 Dec  9 08:51 appendonly_6379.aof

-rw-r--r-- 1 root root   5851018456 Dec  9 08:51 temp-rewriteaof-1927.aof

-rw-r--r-- 1 root root   5200941168 Dec  7 18:09 temp-rewriteaof-26452.aof


等待幾分鐘

再次查看aof文件

-rw-r--r-- 1 root root 22477825463 Dec  9 09:11 appendonly_6380.aof

-rw-r--r-- 1 root root   5200941168 Dec  7 18:09 temp-rewriteaof-26452.aof


已經明顯減小了

再把temp-rewriteaof-26452.aof文件刪除,它已經沒有用了


我忽然發現一個問題

執行了BGREWRITEAOF以後,temp-rewriteaof之類的文件,就再也沒有產生了,好神奇。


引用相關解釋:

BGREWRITEAOF

執行一個 AOF文件 重寫操做。重寫會建立一個當前 AOF 文件的體積優化版本。

即便 BGREWRITEAOF 執行失敗,也不會有任何數據丟失,由於舊的 AOF 文件在 BGREWRITEAOF 成功以前不會被修改。

重寫操做只會在沒有其餘持久化工做在後臺執行時被觸發,也就是說:

若是 Redis 的子進程正在執行快照的保存工做,那麼 AOF 重寫的操做會被預約(scheduled),等到保存工做完成以後再執行 AOF 重寫。在這種狀況下, BGREWRITEAOF 的返回值仍然是 OK ,但還會加上一條額外的信息,說明 BGREWRITEAOF 要等到保存操做完成以後才能執行。在 Redis 2.6 或以上的版本,可使用 INFO 命令查看 BGREWRITEAOF 是否被預約。

若是已經有別的 AOF 文件重寫在執行,那麼 BGREWRITEAOF 返回一個錯誤,而且這個新的 BGREWRITEAOF 請求也不會被預約到下次執行。

從 Redis 2.4 開始, AOF 重寫由 Redis 自行觸發, BGREWRITEAOF 僅僅用於手動觸發重寫操做。


我都已經3.2.5,貌似redis沒有自動觸發BGREWRITEAOF

算了,仍是天天按期的去執行一次


寫了一個腳本

brgewriteaof.sh


內容以下:

#!/bin/bash


/usr/local/redis/redis-cli -p 6379 -h 127.0.0.1 BGREWRITEAOF


添加權限

chmod 755 brgewriteaof.sh

設定任務計劃,天天凌晨2點跑一次

0 2 * * * /opt/brgewriteaof.sh


通過幾個月以後,發現仍是存在aof文件過大的問題。因此,用定時任務來跑,不能解決根本問題。

由於aof是記錄了不少操做日誌,就像Mysql的bin_log日誌同樣,體積比rdb方式持久化文件要大的多。

理想狀況下,aof的大小和當前內存使用的大小是同樣的。


更改配置文件

/kuaibao/server/redis/conf/redis.conf


auto-aof-rewrite-percentage 50


而後重啓redis


這段配置,是指當aof文件增值率達到50%時,優化一次aof,也就是執行BGREWRITEAOF命令

默認是100,由於線上寫入比較頻率,因此增加率要調低一點。

以前100多個G的aof,重寫一次以後,降至30G。


最後發現,由於磁盤I/O,致使aof重寫失敗

產生多個臨時文件,把磁盤佔滿了。

沒辦法,仍是改回rdb方式了。確實比aof空間要小一點。

相關文章
相關標籤/搜索