MongoDB-Oplog詳解

MongoDB Oplog 詳解

Oplog 概念

Oplog 是用於存儲 MongoDB 數據庫全部數據的操做記錄的(實際只記錄增刪改和一些系統命令操做，查是不會記錄的)，有點相似於 mysql 的 binlog 日誌。

Oplog 的存在極大地方便了 MongoDB 副本集的各節點的數據同步，MongoDB 的主節點接收請求操做，而後在 Oplog 中記錄操做，次節點異步地複製並應用這些操做。

Oplog 的默認儲存大小

對於 unix 系統和 windows 系統

Storage Engine	Default Oplog Size	Lower Bound	Upper Bound
In-Memory Storage Engine	5% of physical memory	50 MB	50 GB
WiredTiger Storage Engine	5% of free disk space	990 MB	50 GB
MMAPv1 Storage Engine	5% of free disk space	990 MB	50 GB

Oplog 存儲在 local 庫的 oplog.rs 集合裏面。對於通常的線上環境來講，默認的 Oplog 值就已經足夠了。當達到儲存大小的日誌時，新的記錄會將老的記錄覆蓋。

可是咱們系統中若是存在如下操做的話，那麼咱們就可能須要設置更大的 Oplog 值來避免數據的丟失(在副本集中數據同步過程)：

• 一次更新多個文件
• 刪除與插入一樣數量的數據
• 大量地更新現有的數據

從MongoDB 4.0開始， Oplog 能夠超過其配置的大小限制，以免刪除

一旦mongod第一次建立了 Oplog ，更改--oplogSize選項將不會影響 Oplog 的大小。replSetResizeOplog使您能夠動態調整 Oplog 的大小，而無需從新啓動該mongod過程。

oplog 中每一個操做都是 冪等性 的，也就是說，不管是對目標數據庫應用一次仍是屢次，oplog操做都會產生相同的結果。這樣就保證了數據的一致性。

Oplog 經常使用命令

查看 Oplog 的狀態：rs.printReplicationInfo()

fymongodb:PRIMARY> rs.printReplicationInfo()
configured oplog size:   15000MB
log length start to end: 7437secs (2.07hrs)
oplog first event time:  Thu Apr 11 2019 09:40:31 GMT+0800 (CST)
oplog last event time:   Thu Apr 11 2019 11:44:28 GMT+0800 (CST)
now:                     Thu Apr 11 2019 11:44:35 GMT+0800 (CST)

如何查看當前的 Oplog 存儲設置的大小：db.oplog.rs.stats().maxSize

fymongodb:PRIMARY> use local
fymongodb:PRIMARY> db.oplog.rs.stats().maxSize
NumberLong("15728640000")

查看 Oplog 最大大小和如今佔用的大小，以及記錄時長和時間 ：db.getReplicationInfo()

fymongodb:PRIMARY> db.getReplicationInfo()
{
    "logSizeMB" : 15000,
    "usedMB" : 0.09,
    "timeDiff" : 7797,
    "timeDiffHours" : 2.17,
    "tFirst" : "Thu Apr 11 2019 09:40:31 GMT+0800 (CST)",
    "tLast" : "Thu Apr 11 2019 11:50:28 GMT+0800 (CST)",
    "now" : "Thu Apr 11 2019 11:50:29 GMT+0800 (CST)"
}

更改副本集成員的 Oplog 大小，更改的值要大於等於990MB,這裏設置爲1500MB : db.adminCommand({replSetResizeOplog: 1, size: 15000})

fymongodb:PRIMARY> db.adminCommand({replSetResizeOplog: 1, size: 15000})
{
    "ok" : 1,
    "operationTime" : Timestamp(1554953918, 1),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1554953918, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

# 若是咱們經過上面命令更改了 Oplog 的大小,系統是不會自動回收原始分配給 Oplog 的磁盤空間，咱們須要使用 compact 來回收，在操做 compact 命令時，副本集成員是沒法進行同步數據的。建議在進行回收的時候，不要對數據庫進行寫入，咱們能夠經過 rs.stepDown() 來關閉全部打開的鏈接。
use local
db.runCommand({ "compact" : "oplog.rs" })

# 執行報錯的話 ："will not run compact on an active replica set primary as this is a slow blocking operation. use force:true to force"
db.runCommand({ "compact" : "oplog.rs" ,"force":true})

Oplog 日誌 解析

Oplog 的值是儲存在 local 庫下的 集合 oplog.rs 裏的。咱們能夠分析其中的一條日誌，看到到底記錄了寫什麼。

# 獲取日誌
use local
db.polog.rs.find()
# 日誌內容
{ "ts" : Timestamp(1554948714, 1), "t" : NumberLong(7), "h" : NumberLong("5670178969026212077"), "v" : 2, "op" : "i", "ns" : "djx.a", "ui" : UUID("f0a8c38d-af6b-4fb1-a109-775455dd7f19"), "wall" : ISODate("2019-04-11T02:11:54.602Z"), "o" : { "_id" : ObjectId("5caea26adebe94533fdb42a9"), "name" : "youju" } }

Oplog 的日誌由 key value 組成。  
ts 的值： 表示該日誌的時間戳
op 的值： i 表示 insert ，u 表示 update, d 表示 delete， c 表示的是 db cmd, db 表示聲明當前數據庫 (其中ns 被設置成爲=>數據庫名稱+ '.')， n 表示 noop,,即空操做，其會按期執行以確保時效性
ns 的值： 表示操做所在的數據庫和集合。
ui 的值： 表示當前登陸用戶的會話 id 值。
wall 的值: 表示該操做的執行時間，utc時間。
o 的值： 表示操做的內容，若是是插入，就會將插入的數據放到該位置。示例日誌就是插入了一條數據{"name":"youju"}