原文: 使用SQLServer 2008的CDC功能實現數據變更捕獲

最近由於工作需要，研究了一下2008 CDC功能，覺得還不錯，下面整理了一下研究過程，雖然比較粗略，但是基本上能用了，如果有補充請大家回覆，我視情況修改原帖，謝謝。

背景：

在SQLServer2008之前，對數據變更的捕獲通常使用觸發器、時間戳等低效高成本的功能來實現，所以很多系統都沒有做數據變更或者僅僅對核心表做監控。

自從SQLServer2008引入了數據變更捕獲功能（後面簡稱爲CDC）後，解決了很多煩惱問題，如客戶2個月前更改了一個數據，但是由於服務器空間不足，經常只能保留一個月的備份。此時客戶爲了逃避因爲更改數據帶來的較大負面影響，往往會把責任推給軟件開發商或者運維商，如果此時有變更捕獲的話，就有證據了，當然分析日誌也能實現，但是比較痛苦。

適用環境：

僅在SQLServer2008（含）以後的企業版、開發版和評估版中可用。

詳解：

CDC功能主要捕獲SQLServer指定表的增刪改操作，由於任何操作都會寫日誌（哪怕truncate），所以CDC的捕獲來源於日誌文件。日誌文件會把更改應用到數據文件中，同時也會標記符合要求的數據標記爲需要添加跟蹤的項。然後通過一些配套函數，最後寫入到數據倉庫中。大概流程：

步驟：本文中以：AdventureWorks爲例

第一步、對目標庫顯式啓用CDC：

在當前庫使用sys.sp_cdc_enable_db。返回0（成功）或1（失敗）。注意，無法對系統數據庫和分發數據庫啓用該功能。且執行者需要用sysadmin角色權限。

該存儲過程的作用域是整個目標庫。包含元數據、DDL觸發器、cdc架構和cdc用戶。

使用以下代碼啓用：

USE AdventureWorks

EXECUTE sys.sp_cdc_enable_db;

在一開始直接執行時，出現了報錯信息：

消息22830，級別16，狀態1，過程sp_cdc_enable_db_internal，第193 行

無法更新元數據來指示已對數據庫AdventureWorks 啓用了變更數據捕獲。執行命令'SetCDCTracked(Value = 1)' 時失敗。返回的錯誤爲15517: '無法作爲數據庫主體執行，因爲主體"dbo" 不存在、無法模擬這種類型的主體，或您沒有所需的權限。'。請使用此操作和錯誤來確定失敗的原因並重新提交請求。

這裏引出了另外一個知識點：錯誤號 15517 的錯誤

這種錯誤會在很多地方出現，如還原數據庫的時候也會有可能出現。共同點是：某個/些存儲過程使用了具有WITHEXECUTE AS 的選項。使其在當前庫具有了某個架構，但是當在別的地方執行時，由於沒有這個架構，所以就報錯，解決方法：

ALTER AUTHORIZATION ON DATABASE::[AdventureWorks] TO [sa]

經過檢查，uspUpdateEmployeeHireInfo這個存儲過程的確有：WITH EXECUTE AS CALLER

使用sa的原因是即使sa被禁用，sa還是存在的。所以不會報錯。

現在重新執行：

USE AdventureWorks

EXECUTE sys.sp_cdc_enable_db;

啓用成功，然後通過以下語句檢查是否成功：

SELECT is_cdc_enabled,CASEWHEN is_cdc_enabled=0THEN 'CDC功能禁用'ELSE 'CDC功能啓用'END 描述

FROM sys.databases

WHERE NAME = 'AdventureWorks'

創建成功後，將自動添加CDC用戶和CDC架構。

創建這兩個用戶、架構的原因是因爲CDC要求獨佔方式使用這兩個架構，所以要單獨創建。如果存在了非CDC功能創建的CDC用戶、架構的話，則需要先刪除該cdc命名的架構，才能開啓。

第二步、對目標表啓用CDC：

使用db_owner角色的成員執行sys.sp_cdc_enable_table爲每個需要跟蹤的表創建捕獲實例。然後通過sys.tables目錄視圖中的is_tracked_by_cdc列來判斷是否創建成功。

默認情況下會對錶的全部列做捕獲。如果只需要對某些列做捕獲，可以使用@captured_column_list參數指定這些列。

如果要把更改表放到文件組裏的話，最好創建單獨的文件組（最起碼與源表獨立）。

如果不想控制訪問角色，則@role_name必須顯式設置爲null。

sys.sp_cdc_enable_table

[ @source_schema = ] 'source_schema',

[ @source_name = ] 'source_name' ,

[ @role_name = ] 'role_name'

[,[ @capture_instance = ] 'capture_instance' ]

[,[ @supports_net_changes = ] supports_net_changes ]

[,[ @index_name = ] 'index_name' ]

[,[ @captured_column_list = ] 'captured_column_list' ]

[,[ @filegroup_name = ] 'filegroup_name' ]

[,[ @partition_switch = ] 'partition_switch' ]

例子：

把HumanResources.Department 這個表開啓變更捕獲。

USE AdventureWorks

EXEC sys.sp_cdc_enable_table@source_schema= 'HumanResources',

@source_name = 'Department',@role_name = NULL

然後查詢是否成功：

SELECT name ,

is_tracked_by_cdc ,

CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用'

ELSE 'CDC功能啓用'

END 描述

FROM sys.tables

WHERE OBJECT_ID= OBJECT_ID('HumanResources.Department')

對錶開啓以後，可以在下圖中看到多了很多cdc架構開頭的表：

啓動之後，可以看到SQLServer代理裏面的作業，也出現了這兩個作業：

下面列出相關的存儲過程：

Sys.sp_cdc_add_job	說明及例子
Sys.sp_cdc_generate_wrapper_function	說明及例子
Sys.sp_cdc_change_job	說明及例子
Sys.sp_cdc_get_captured_columns	說明及例子
Sys.sp_cdc_cleanup_change_table	說明及例子
Sys.sp_cdc_get_ddl_history	說明及例子
Sys.sp_cdc_disable_db	說明及例子建議先禁用表，再禁用庫
Sys.sp_cdc_help_change_data_capture	說明及例子
Sys.sp_cdc_disable_table	說明及例子
Sys.sp_cdc_help_jobs	說明及例子
Sys.sp_cdc_drop_job	說明及例子
Sys.sp_cdc_scan	說明及例子
Sys.sp_cdc_enable_db	說明及例子
Sys.sp_cdc_start_job	說明及例子
Sys.sp_cdc_enable_table	說明及例子
Sys.sp_cdc_stop_job	說明及例子

函數：

Cdc.fn_cdc_get_all_changes_<capture_instance>	說明及例子
Sys.fn_cdc_has_column_changed	說明及例子
Cdc.fn_cdc_get_net_changes_<capture_instance>	說明及例子
Sys.fn_cdc_increment_lsn	說明及例子
Sys.fn_cdc_decrement_lsn	說明及例子
Sys.fn_cdc_is_bit_set	說明及例子
Sys.fn_cdc_get_column_ordinal	說明及例子
Sys.fn_cdc_map_lsn_to_time	說明及例子
Sys.fn_cdc_get_max_lsn	說明及例子
Sys.fn_cdc_map_time_to_lsn	說明及例子
Sys.fn_cdc_get_min_lsn	說明及例子

案例：

下面開始從頭到尾做一個實際案例：

先檢查原庫的內容：可以看到系統表裏面只有一個dbo.sysdiagrams表

然後看看SQLServer代理：可以看到也沒有相關的作業

步驟二：對數據庫啓用CDC數據庫級別功能。必須顯式啓用：

Step1、執行以下語句：

USE AdventureWorks

EXEC sys.sp_cdc_enable_db

某些數據庫可能存在一些存儲過程包含有：execute as 等語句，此時會報錯：

文字描述：

消息22830，級別16，狀態1，過程sp_cdc_enable_db_internal，第186 行

消息266，級別16，狀態2，過程sp_cdc_enable_db_internal，第0 行

EXECUTE 後的事務計數指示BEGIN 和COMMIT 語句的數目不匹配。上一計數= 0，當前計數= 1。

消息266，級別16，狀態2，過程sp_cdc_enable_db，第0 行

EXECUTE 後的事務計數指示BEGIN 和COMMIT 語句的數目不匹配。上一計數= 0，當前計數= 1。

消息3998，級別16，狀態1，第1 行

在批處理結束時檢測到不可提交的事務。該事務將回滾。

如果出現這個錯誤，目前的解決方法是執行下面語句，原因已在開頭說明，對於沒有使用EXECUTE AS的庫，一般不會有這樣的問題：

ALTER AUTHORIZATION ON DATABASE::[AdventureWorks] TO [sa]

然後再次執行，就成功開啓了：

USE AdventureWorks

EXEC sys.sp_cdc_enable_db

現在檢查是否成功：

SELECT is_cdc_enabled ,

CASE WHEN is_cdc_enabled = 0 THEN 'CDC功能禁用'

ELSE 'CDC功能啓用'

END 描述

FROM sys.databases

WHERE NAME = 'AdventureWorks'

現在檢查表和作業：

作業沒有改變

角色權限中多出了：

步驟三：對某些表開啓捕獲：

這裏選擇HumanResources.Department、Person.ADDRESS、Person.Contact 開啓：

先來看開啓之前的樣子：

然後對該表開啓：

USE AdventureWorks;

EXECUTE sys.sp_cdc_enable_table

@source_schema = N'HumanResources'

, @source_name = N'Department'

, @role_name = N'cdc_Admin'--可以自動創建

, @capture_instance=DEFAULT

結果如圖:

可以看到在創建的同時,也創建了兩個作業: cdc.AdventureWorks_cleanup和cdc.AdventureWorks_capture

也可以看到多了一個角色CDC_ADMIN，是在上面語句中動態創建的：

按照上面步驟把另外兩個表也開啓了：

USE AdventureWorks;

EXECUTE sys.sp_cdc_enable_table

@source_schema = N'Person'

, @source_name = N'ADDRESS'

, @role_name = N'cdc_Admin'--可以自動創建

, @capture_instance=DEFAULT

EXECUTE sys.sp_cdc_enable_table

@source_schema = N'Person'

, @source_name = N'Contact'

, @role_name = N'cdc_Admin'--可以自動創建

, @capture_instance=DEFAULT

可以從系統表中看到：

了3個表，並且是剛纔開啓CDC功能的表。現在來檢查是否開啓成功：

SELECT name ,

is_tracked_by_cdc ,

CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用'

ELSE 'CDC功能啓用'

END 描述

FROM sys.tables

WHERE OBJECT_ID IN( OBJECT_ID('HumanResources.Department'),

OBJECT_ID('Person.ADDRESS'),

OBJECT_ID('Person.Contact') )

結果如下：

步驟三：檢驗：

下面來改動數據：

然後把表中的數據複製一份：

INSERT INTO HumanResources.Department

( Name ,

GroupName ,

ModifiedDate

)

SELECT Name + '1' ,

GroupName + '1' ,

GETDATE() ModifiedDate

FROM HumanResources.Department

結果如下：

然後從 cdc . HumanResources_Department_CT 表查詢：

可以看到的確多了16條記錄。這部分記錄證明了，有16條數據從監控到目前爲止做了改動，現在再來改動一下：

DELETE FROM HumanResources.Department WHERE DepartmentID>17

再查詢cdc表，可以看到又多了16條記錄：

現在來做下update的實驗：

UPDATE HumanResources.Department SET ModifiedDate=GETDATE()

再查看：

現在來分析一下這個表：

可以在聯機叢書上查看：cdc.<capture_instance>_CT 可以看到，這樣命名的表，是用於記錄源表更改的表。對於insert/delete操作，會有對應的一行記錄，而對於update，會有兩行記錄。

對於__$operation列：1 = 刪除、2= 插入、3= 更新（舊值）、4= 更新（新值）

對於__$start_lsn列：由於更改是來源與數據庫的事務日誌，所以這裏會保存其事務日誌的開始序列號（LSN）

但是微軟不檢查直接查詢這類表，建議使用cdc.fn_cdc_get_all_changes_<捕獲實例> 和cdc.fn_cdc_get_net_changes_<capture_instance> 來查詢

下文開始，來熟悉各種函數、存儲過程的使用，並嘗試一些不正常的操作。

日常使用情景：

1、查詢已經開啓的捕獲實例：

由於可能不記得或者不知道開啓了什麼表的捕獲，所以可以使用以下語句來查找：

--返回所有表的變更捕獲配置信息

EXECUTE sys.sp_cdc_help_change_data_capture;

可以看到以下截圖：

查看對某個實例(即表)的哪些列做了捕獲監控:

EXEC sys.sp_cdc_get_captured_columns

@capture_instance = 'HumanResources_Department' -- sysname

得到下圖:

也可以從下面中查找配置信息：

SELECT * FROM msdb.dbo.cdc_jobs

如圖：

2、查看當前配置使用sp_cdc_help_jobs：

從上文可以看到，啓用cdc之後會自動創建了兩個作業，可以先使用以下語句來查看：

sp_cdc_help_jobs

得到的結果：

對於一個大型的OLTP系統，由於數據更改會非常頻繁，變更表中的數據會非常多，如果存放過久（最久可以存放100年），那對數據庫空間是非常大的挑戰。此時可以調整上圖中cdc.AdventureWorks_cleanup 中retention（單位：分鐘）。

3、修改配置：sp_cdc_change_job：

--顯示原有配置：

EXEC sp_cdc_help_jobs

--更改數據保留時間爲分鐘

EXECUTE sys.sp_cdc_change_job

@job_type = N'cleanup',

@retention=100

--停用作業

EXEC sys.sp_cdc_stop_jobN'cleanup'

--啓用作業

EXEC sys.sp_cdc_start_jobN'cleanup'

--再次查看

EXEC sp_cdc_help_jobs

得到以下結果：

證明修改成功，此處注意，修改後要先停用（如果已經啓用），再啓用，才能生效。

4、停止/啓用、刪除/創建作業：

停止/開始作業，可以使用以下語句：

--停用作業

EXEC sys.sp_cdc_stop_jobN'cleanup'

--啓用作業

EXEC sys.sp_cdc_start_jobN'cleanup'

刪除作業：

EXEC sys.sp_cdc_drop_job@job_type = N'cleanup' -- nvarchar(20)

GO<>N'cleanup'

--啓用作業

EXEC sys.sp_cdc_start_jobN'cleanup'

刪除作業：

EXEC sys.sp_cdc_drop_job@job_type = N'cleanup' -- nvarchar(20)

--查看作業

EXEC sys.sp_cdc_help_jobs

可以看到現在只剩下一個作業了:

創建作業：

EXEC sys.sp_cdc_add_job

@job_type = N'cleanup',

@start_job = 0,

@retention = 5760

--查看作業

EXEC sys.sp_cdc_help_jobs

下面看到已經創建成功:

5、DDL變更捕獲：

CDC除了捕獲數據變更之外，還能捕獲DDL操作的變化。前提是先要確保SQLServer 代理的啓用，其實CDC功能都需要確保sql 代理正常運行，因爲所有操作都通過代理中的兩個作業來實現的。

現在先來對HumanResources.Department 表修改一下，把name的長度加長：

ALTER TABLE HumanResources.Department ALTER COLUMN Name NVARCHAR(120) ;

然後查詢ddl記錄表：

SELECT *

FROM cdc.ddl_history

可以看到：

由於在截圖之前已經試了幾次，所以裏面有3條數據，之所以試了幾次，就是因爲上面所說的，忘了開SQL代理，所以查不出數據，所以切記要開啓SQL代理。

6、使用CDC的函數來獲取更改：

A、使用cdc.fn_cdc_get_all_changes_HumanResources_Department 函數報告捕獲實例HumanResources_Department 的當前所有可用更改：

DECLARE @from_lsn binary(10), @to_lsn binary(10)

SET @from_lsn =

sys.fn_cdc_get_min_lsn('HumanResources_Department')

SET @to_lsn = sys.fn_cdc_get_max_lsn()

SELECT * FROM cdc.fn_cdc_get_all_changes_HumanResources_Department

(@from_lsn, @to_lsn, N'all update old');

B、獲取某個時間段的更改信息：

先根據日誌序列號（logsequence number ,LSN）來獲取跟蹤變更數據：

Sys.fn_cdc_map_time_to_lsn獲取變更範圍內的最大、最小LSN值。可以使用：

Smallest greater than;smallest greater than orequal;largest less than;largest less than or equal.

如查詢某個時間段插入的數據：

--插入數據

INSERT INTO HumanResources.Department(name,GroupName,ModifiedDate)

VALUES('test','abc',GETDATE())

INSERT INTO HumanResources.Department(name,GroupName,ModifiedDate