PostgreSQL主備流複製機制

 原文出處 http://mysql.taobao.org/monthly/2015/10/04/

PostgreSQL在9.0以後引入了主備流複製機制，經過流複製，備庫不斷的從主庫同步相應的數據，並在備庫apply每一個WAL record，這裏的流複製每次傳輸單位是WAL日誌的record。而PostgreSQL9.0以前提供的方法是主庫寫完一個WAL日誌文件後，才把WAL日誌文件傳送到備庫，這樣的方式致使主備延遲特別大。同時PostgreSQL9.0以後提供了Hot Standby，備庫在應用WAL record的同時也可以提供只讀服務，大大提高了用戶體驗。

主備整體結構

PG主備流複製的核心部分由walsender，walreceiver和startup三個進程組成。
walsender進程是用來發送WAL日誌記錄的，執行順序以下：

PostgresMain()->exec_replication_command()->StartReplication()->WalSndLoop()->XLogSendPhysical()

walreceiver進程是用來接收WAL日誌記錄的，執行順序以下：

sigusr1_handler()->StartWalReceiver()->AuxiliaryProcessMain()->WalReceiverMain()->walrcv_receive()

startup進程是用來apply日誌的，執行順序以下：

PostmasterMain()->StartupDataBase()->AuxiliaryProcessMain()->StartupProcessMain()->StartupXLOG()

下圖是PG主備整體框架圖：

 

walsender和walreceiver進程流複製過程

 

walsender和walreceiver交互主要分爲如下幾個步驟：

1. walreceiver啓動後經過recovery.conf文件中的primary_conninfo參數信息連向主庫，主庫經過鏈接參數replication=true啓動walsender進程；
2. walreceiver執行identify_system命令，獲取主庫systemid/timeline/xlogpos等信息，執行TIMELINE_HISTORY命令拉取history文件；
3. 執行wal_startstreaming開始啓動流複製，經過walrcv_receive獲取WAL日誌，期間也會迴應主庫發過來的心跳信息(接收位點、flush位點、apply位點)，向主庫發送feedback信息(最老的事務id)，避免vacuum刪掉備庫正在使用的記錄；
4. 執行walrcv_endstreaming結束流複製，等待startup進程更新receiveStart和receiveStartTLI，一旦更新，進入步驟2。

 

walreceiver和startup進程

startup進程進入standby模式和apply日誌主要過程：

1. 讀取pg_control文件，找到redo位點;讀取recovery.conf，若是配置standby_mode=on則進入standby模式。
2. 若是是Hot Standby須要初始化clog、subtrans、事務環境等。初始化redo資源管理器，好比Heap、Heap二、Database、XLOG等。
3. 讀取WAL record，若是record不存在須要調用XLogPageRead->WaitForWALToBecomeAvailable->RequestXLogStreaming喚醒walreceiver從walsender獲取WAL record。

4. 對讀取的WAL record進行redo，經過record->xl_rmid信息，調用相應的redo資源管理器進行redo操做。好比heap_redo的XLOG_HEAP_INSERT操做，就是經過record的信息在buffer page中增長一個record：

MemSet((char *) htup, 0, sizeof(HeapTupleHeaderData));
 /* PG73FORMAT: get bitmap [+ padding] [+ oid] + data */
 memcpy((char *) htup + offsetof(HeapTupleHeaderData, t_bits),
        (char *) xlrec + SizeOfHeapInsert + SizeOfHeapHeader,
        newlen);
 newlen += offsetof(HeapTupleHeaderData, t_bits);
 htup->t_infomask2 = xlhdr.t_infomask2;
 htup->t_infomask = xlhdr.t_infomask;
 htup->t_hoff = xlhdr.t_hoff;
 HeapTupleHeaderSetXmin(htup, record->xl_xid);
 HeapTupleHeaderSetCmin(htup, FirstCommandId);
 htup->t_ctid = xlrec->target.tid;

 offnum = PageAddItem(page, (Item) htup, newlen, offnum, true, true);
 if (offnum == InvalidOffsetNumber)
     elog(PANIC, "heap_insert_redo: failed to add tuple");

 freespace = PageGetHeapFreeSpace(page);        /* needed to update FSM below */

 PageSetLSN(page, lsn);

 if (xlrec->flags & XLOG_HEAP_ALL_VISIBLE_CLEARED)
     PageClearAllVisible(page);

 MarkBufferDirty(buffer);　　　　

　　   還有部分redo操做(vacuum產生的record)須要檢查在Hot Standby模式下的查詢衝突，好比某些tuples須要remove，而存在正在執行的query可能讀到這些tuples，這樣          就會破壞事務隔離級別。經過函數ResolveRecoveryConflictWithSnapshot檢測衝突，若是發生衝突，那麼就把這個query所在的進程kill掉。
     5. 檢查一致性，若是一致了，Hot Standby模式能夠接受用戶只讀查詢；更新共享內存中XLogCtlData的apply位點和時間線；若是恢復到時間點，時間線或者事務id須要檢            查是否恢復到當前目標；
     6. 回到步驟3，讀取next WAL record。