使用SQLServer 2008的CDC功能實現數據變動捕獲

使用SQLServer 2008的CDC功能實現數據變動捕獲

CDC:Change Data Capture

轉載自：

http://blog.csdn.net/dba_huangzj/article/details/8130448

http://www.cnblogs.com/chenxizhang/archive/2009/05/16/1458388.html

  1 --步驟：本文中以GPOSDB爲例
  2 
  3 --第一步、對目標庫顯式啓用CDC：
  4 --在當前庫使用sys.sp_cdc_enable_db。返回0（成功）或1（失敗）。
  5 --注意，沒法對系統數據庫和分發數據庫啓用該功能。且執行者須要用sysadmin角色權限。
  6 --該存儲過程的做用域是整個目標庫。包含元數據、DDL觸發器、cdc架構和cdc用戶。
  7 --使用如下代碼啓用：
  8 USE GPOSDB  --要啓用CDC的數據庫
  9 GO
 10 EXECUTE sys.sp_cdc_enable_db;
 11 GO
 12 --在一開始直接執行時，出現了報錯信息：
 13 --消息22830，級別16，狀態1，過程sp_cdc_enable_db_internal，第193 行
 14 --沒法更新元數據來指示已對數據庫AdventureWorks 啓用了變動數據捕獲。
 15 --執行命令'SetCDCTracked(Value = 1)' 時失敗。
 16 --返回的錯誤爲15517: '沒法做爲數據庫主體執行，由於主體"dbo"
 17 --不存在、沒法模擬這種類型的主體，或您沒有所需的權限。'。請使用此操做和錯誤來肯定失敗的緣由並從新提交請求。
 18 --這裏引出了另一個知識點：錯誤號 15517 的錯誤
 19 --這種錯誤會在不少地方出現，如還原數據庫的時候也會有可能出現。
 20 --共同點是：某個/些存儲過程使用了具備WITHEXECUTE AS 的選項。
 21 --使其在當前庫具備了某個架構，可是當在別的地方執行時，因爲沒有這個架構，因此就報錯，解決方法：
 22 ALTER AUTHORIZATION ON DATABASE::[GPOSDB] TO [sa]
 23 
 24 --通過檢查，uspUpdateEmployeeHireInfo這個存儲過程的確有：WITH EXECUTE AS CALLER
 25 --使用sa的緣由是即便sa被禁用，sa仍是存在的。因此不會報錯。
 26 --如今從新執行：
 27 USE GPOSDB
 28 GO
 29 EXECUTE sys.sp_cdc_enable_db;
 30 GO
 31 --啓用成功，而後經過如下語句檢查是否成功：
 32 SELECT 
 33 is_cdc_enabled,
 34 CASE WHEN is_cdc_enabled=0 THEN 'CDC功能禁用' ELSE 'CDC功能啓用' END 描述
 35 FROM    sys.databases
 36 WHERE   NAME = 'GPOSDB'
 37 
 38 --建立成功後，將自動添加CDC用戶和CDC架構。
 39 --在用戶和架構下面能夠看到cdc用戶和cdc架構
 40 
 41 --建立這兩個用戶、架構的緣由是由於CDC要求獨佔方式使用這兩個架構，因此要單首創建。
 42 --若是存在了非CDC功能建立的CDC用戶、架構的話，則須要先刪除該cdc命名的架構，才能開啓。
 43 
 44 --第二步、對目標表啓用CDC：
 45 --使用db_owner角色的成員執行sys.sp_cdc_enable_table爲每一個須要跟蹤的表建立捕獲實例。
 46 --而後經過sys.tables目錄視圖中的is_tracked_by_cdc列來判斷是否建立成功。
 47 --默認狀況下會對錶的所有列作捕獲。若是隻須要對某些列作捕獲，
 48 --可使用@captured_column_list參數指定這些列。
 49 --若是要把更改表放到文件組裏的話，最好建立單獨的文件組（最起碼與源表獨立）。
 50 
 51 --若是不想控制訪問角色，則@role_name必須顯式設置爲null。
 52 sys.sp_cdc_enable_table
 53     [ @source_schema = ] 'source_schema',
 54     [ @source_name = ] 'source_name' ,
 55     [ @role_name = ] 'role_name'
 56     [,[ @capture_instance = ] 'capture_instance' ]
 57     [,[ @supports_net_changes = ] supports_net_changes ]
 58     [,[ @index_name = ] 'index_name' ]
 59     [,[ @captured_column_list = ] 'captured_column_list' ]
 60     [,[ @filegroup_name = ] 'filegroup_name' ]
 61   [,[ @partition_switch = ] 'partition_switch' ]
 62 
 63 --例子：
 64 --把SYSTEMPARA 這個表開啓變動捕獲。
 65 USE GPOSDB
 66 GO
 67 EXEC sys.sp_cdc_enable_table @source_schema = 'DBO',
 68     @source_name = 'SYSTEMPARA',@role_name = NULL
 69 
 70 --而後查詢是否成功：
 71 SELECT  name ,
 72         is_tracked_by_cdc ,
 73         CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用'
 74              ELSE 'CDC功能啓用'
 75         END 描述
 76 FROM    sys.tables
 77 WHERE   OBJECT_ID = OBJECT_ID('dbo.systempara')
 78 --對錶開啓之後，能夠在下圖中看到多了不少cdc架構開頭的表：
 79 --刷新一下GPOSDB數據庫，在系統表下面能夠看到多了下面幾張表
 80 [cdc].[DBO_SYSTEMPARA_CT]
 81 [cdc].[change_tables]
 82 [cdc].[captured_columns]
 83 [cdc].[ddl_history]
 84 [cdc].[index_columns]
 85 [cdc].[lsn_time_mapping]
 86 [dbo].[systranschemas]
 87 [dbo].[dtproperties]
 88 
 89 --啓動以後，能夠看到SQLServer代理裏面的做業，也出現了這兩個做業：
 90 [cdc.GPOSDB_capture]
 91 [cdc.GPOSDB_cleanup]
 92 
 93 --在可編程性-》函數-》表值函數裏，也多了兩個函數
 94 [cdc].[fn_cdc_get_all_changes_DBO_SYSTEMPARA]
 95 [cdc].[fn_cdc_get_net_changes_DBO_SYSTEMPARA]
 96 
 97 --下面列出相關的存儲過程：
 98 --Sys.sp_cdc_add_job
 99 --說明及例子
100 --Sys.sp_cdc_generate_wrapper_function
101 --說明及例子
102 --Sys.sp_cdc_change_job
103 --說明及例子
104 --Sys.sp_cdc_get_captured_columns
105 --說明及例子
106 --Sys.sp_cdc_cleanup_change_table
107 --說明及例子
108 --Sys.sp_cdc_get_ddl_history
109 --說明及例子
110 --Sys.sp_cdc_disable_db
111 --說明及例子  建議先禁用表，再禁用庫
112 --Sys.sp_cdc_help_change_data_capture
113 --說明及例子
114 --Sys.sp_cdc_disable_table
115 --說明及例子
116 --Sys.sp_cdc_help_jobs
117 --說明及例子
118 --Sys.sp_cdc_drop_job
119 --說明及例子
120 --Sys.sp_cdc_scan
121 --說明及例子
122 --Sys.sp_cdc_enable_db
123 --說明及例子
124 --Sys.sp_cdc_start_job
125 --說明及例子
126 --Sys.sp_cdc_enable_table
127 --說明及例子
128 --Sys.sp_cdc_stop_job
129 --說明及例子
130 
131 --函數：
132 --Cdc.fn_cdc_get_all_changes_<capture_instance>
133 --說明及例子
134 --Sys.fn_cdc_has_column_changed
135 --說明及例子
136 --Cdc.fn_cdc_get_net_changes_<capture_instance>
137 --說明及例子
138 --Sys.fn_cdc_increment_lsn
139 --說明及例子
140 --Sys.fn_cdc_decrement_lsn
141 --說明及例子
142 --Sys.fn_cdc_is_bit_set
143 --說明及例子
144 --Sys.fn_cdc_get_column_ordinal
145 --說明及例子
146 --Sys.fn_cdc_map_lsn_to_time
147 --說明及例子
148 --Sys.fn_cdc_get_max_lsn
149 --說明及例子
150 --Sys.fn_cdc_map_time_to_lsn
151 --說明及例子
152 --Sys.fn_cdc_get_min_lsn
153 --說明及例子
154 
155 --------------------下面開始從頭至尾作一個實際案例-------------------------
156 --下面開始從頭至尾作一個實際案例
157 
158 --步驟一:對目標庫顯式啓用CDC
159 USE GPOSDB  --要啓用CDC的數據庫
160 GO
161 EXECUTE sys.sp_cdc_enable_db;
162 GO
163 
164 
165 --某些數據庫可能存在一些存儲過程包含有：execute as 等語句，此時會報錯：
166 
167 
168 --文字描述：
169 --消息22830，級別16，狀態1，過程sp_cdc_enable_db_internal，第186 行
170 --沒法更新元數據來指示已對數據庫AdventureWorks 啓用了變動數據捕獲。執行命令'SetCDCTracked(Value = 1)' 時失敗。返回的錯誤爲15517: '沒法做爲數據庫主體執行，由於主體"dbo" 不存在、沒法模擬這種類型的主體，或您沒有所需的權限。'。請使用此操做和錯誤來肯定失敗的緣由並從新提交請求。
171 --消息266，級別16，狀態2，過程sp_cdc_enable_db_internal，第0 行
172 --EXECUTE 後的事務計數指示BEGIN 和COMMIT 語句的數目不匹配。上一計數= 0，當前計數= 1。
173 --消息266，級別16，狀態2，過程sp_cdc_enable_db，第0 行
174 --EXECUTE 後的事務計數指示BEGIN 和COMMIT 語句的數目不匹配。上一計數= 0，當前計數= 1。
175 --消息3998，級別16，狀態1，第1 行
176 --在批處理結束時檢測到不可提交的事務。該事務將回滾。
177 --若是出現這個錯誤，目前的解決方法是執行下面語句，緣由已在開頭說明，對於沒有使用EXECUTE AS的庫，通常不會有這樣的問題：
178 
179 
180 ALTER AUTHORIZATION ON DATABASE::[GPOSDB] TO [sa]
181 
182 --如今從新執行：
183 USE GPOSDB
184 GO
185 EXECUTE sys.sp_cdc_enable_db;
186 GO
187 --經過如下語句檢查是否成功：
188 SELECT 
189 is_cdc_enabled,
190 CASE WHEN is_cdc_enabled=0 THEN 'CDC功能禁用' ELSE 'CDC功能啓用' END 描述
191 FROM    sys.databases
192 WHERE   NAME = 'GPOSDB'
193 
194 --步驟二：對錶啓用CDC
195 USE GPOSDB
196 GO
197 EXEC sys.sp_cdc_enable_table
198 @source_schema = 'DBO',
199 @source_name = 'SYSTEMPARA',
200 @role_name = NULL,
201 @capture_instance=DEFAULT
202 GO
203 
204 --而後查詢是否成功：
205 SELECT  name ,
206         is_tracked_by_cdc ,
207         CASE WHEN is_tracked_by_cdc = 0 THEN 'CDC功能禁用'
208              ELSE 'CDC功能啓用'
209         END 描述
210 FROM    sys.tables
211 WHERE   OBJECT_ID = OBJECT_ID('dbo.systempara')
212 
213 --能夠看到GPOSDB數據庫裏的系統表裏新增了[cdc].[DBO_SYSTEMPARA_CT]表
214 
215 
216 
217 
218 
219 --步驟三：檢驗，下面來改動數據
220 --先查詢一下DBO_SYSTEMPARA_CT表
221 SELECT * FROM cdc.[DBO_SYSTEMPARA_CT]
222 
223 --能夠看到一條記錄都沒有，由於剛剛建立，並無對原表systempara作任何增刪改操做
224 
225 --向[SystemPara]表插入一條記錄
226 INSERT INTO [dbo].[SystemPara]
227         ( [ParaValue] ,
228           [Name] ,
229           [Description]
230         )
231 VALUES  ( '中國' , -- ParaValue - varchar(50)
232           '中國' , -- Name - varchar(50)
233           '中國'  -- Description - varchar(50)
234         )
235 
236 --查詢一下DBO_SYSTEMPARA_CT表，能夠看到多了一條記錄
237 SELECT * FROM cdc.[DBO_SYSTEMPARA_CT]
238 
239 
240 --更新[SystemPara]表的一條記錄
241 UPDATE [dbo].[SystemPara] SET [ParaValue]='德國' WHERE [Description]='中國'
242 
243 --查詢一下DBO_SYSTEMPARA_CT表，能夠看到多了兩條記錄
244 SELECT * FROM cdc.[DBO_SYSTEMPARA_CT]
245 
246 --刪除[SystemPara]表的一條記錄
247 DELETE FROM  [dbo].[SystemPara]  WHERE [Description]='中國'
248 
249 --查詢一下DBO_SYSTEMPARA_CT表，能夠看到多了一條記錄
250 SELECT * FROM cdc.[DBO_SYSTEMPARA_CT]
251 
252 --如今來分析一下DBO_SYSTEMPARA_CT表
253 --能夠在聯機叢書上查看：
254 --cdc.<capture_instance>_CT  
255 --能夠看到，這樣命名的表，是用於記錄源表作過更改操做的表。
256 --對於insert/delete操做，會有對應的一行記錄，而對於update，會有兩行記錄。
257 --對於__$operation列：1 = 刪除、2= 插入、3= 更新（舊值）、4= 更新（新值）
258 --update語句的__$operation列的值是3和4，因此一條update語句對應兩條記錄
259 
260 --對於__$start_lsn列：因爲更改是來源與數據庫的事務日誌，因此這裏會保存其事務日誌的開始序列號（LSN）
261 --可是微軟不檢查直接查詢這類表，建議使用
262 --cdc.fn_cdc_get_all_changes_<捕獲實例>
263 --cdc.fn_cdc_get_net_changes_<capture_instance>
264 -- 來查詢
265 
266 ----------------------------------------------------------
267 
268 --下文開始，來熟悉各類函數、存儲過程的使用，並嘗試一些不正常的操做。
269 
270 
271 
272 --平常使用情景：
273 --一、查詢已經開啓的捕獲實例：
274 --返回全部表的變動捕獲配置信息
275 USE [GPOSDB]
276 GO
277 EXECUTE sys.sp_cdc_help_change_data_capture;
278 GO
279 
280 
281 
282 --查看對某個實例(即表)的哪些列作了捕獲監控
283 USE [GPOSDB]
284 GO
285 EXEC sys.sp_cdc_get_captured_columns
286 @capture_instance = 'systempara' -- sysname
287 
288 
289 
290 --也能夠從下面中查找配置信息
291 SELECT * FROM msdb.dbo.cdc_jobs
292 
293 
294 
295 
296 
297 
298 --二、查看當前配置使用sp_cdc_help_jobs：
299 --從上文能夠看到，啓用cdc以後會自動建立了兩個做業，能夠先使用如下語句來查看：
300 sp_cdc_help_jobs
301 
302 
303 
304 --對於一個大型的OLTP系統，因爲數據更改會很是頻繁，變動表中的數據會很是多，
305 --若是存放太久（最久能夠存放100年），那對數據庫空間是很是大的挑戰。
306 --此時能夠調整上圖中cdc.AdventureWorks_cleanup 中retention（單位：分鐘）。
307 
308 --三、修改配置：sp_cdc_change_job
309 --顯示原有配置
310 EXEC sp_cdc_help_jobs
311 GO
312 --更改數據保留時間爲100分鐘
313 EXECUTE sys.sp_cdc_change_job
314     @job_type = N'cleanup',
315     @retention=100
316 GO
317 
318 --重啓一下做業，以使設置生效
319 --停用做業
320 EXEC sys.sp_cdc_stop_job N'cleanup'
321 GO
322 --啓用做業
323 EXEC sys.sp_cdc_start_job N'cleanup'
324 GO
325 --再次查看
326 EXEC sp_cdc_help_jobs
327 GO
328 --能夠看到retention（單位：分鐘）的值變爲100了
329 
330 --四、中止/啓用、刪除/建立做業
331 
332 --停用做業
333 EXEC sys.sp_cdc_stop_job N'cleanup'
334 GO
335 --啓用做業
336 EXEC sys.sp_cdc_start_job N'cleanup'
337 GO
338 
339 --刪除做業
340 EXEC sys.sp_cdc_drop_job @job_type = N'cleanup' -- nvarchar(20)
341 GO
342 --查看做業
343 EXEC sys.sp_cdc_help_jobs
344 GO
345 --能夠看到如今只剩下一個做業了:cdc.GPOSDB_capture
346 
347 
348 --建立做業
349 EXEC sys.sp_cdc_add_job
350     @job_type = N'cleanup',
351     @start_job = 0,
352     @retention = 5760
353 
354 --查看做業
355 EXEC sys.sp_cdc_help_jobs
356 GO
357 
358 
359 
360 --五、DDL變動捕獲：
361 --CDC除了捕獲數據變動以外，還能捕獲DDL操做的變化。
362 --前提是先要確保SQLServer 代理的啓用，其實CDC功能都須要確保sql 代理正常運行
363 --由於全部操做都經過代理中的兩個做業來實現的。
364 --如今先來對SYSTEMPARA 表修改一下，把PARAVALUE的長度加長
365 USE [GPOSDB]
366 GO
367 ALTER TABLE  [dbo].[SystemPara] ALTER COLUMN PARAVALUE VARCHAR(120) ;
368 GO
369 
370 --而後查詢ddl記錄表
371 SELECT  * FROM    cdc.ddl_history
372 
373 
374 --六、使用CDC的函數來獲取更改
375 --A、使用 [cdc].[fn_cdc_get_all_changes_DBO_SYSTEMPARA]
376 --函數報告捕獲實例的當前全部可用更改
377 DECLARE @from_lsn BINARY(10) ,
378     @to_lsn BINARY(10)
379 SET @from_lsn = sys.fn_cdc_get_min_lsn('SYSTEMPARA')
380 SET @to_lsn = sys.fn_cdc_get_max_lsn()
381 SELECT  *
382 FROM    cdc.fn_cdc_get_all_changes_DBO_SYSTEMPARA(@from_lsn, @to_lsn,N'all update old');
383 GO
384 
385 
386 
387 
388 --B、獲取某個時間段的更改信息：
389 --先根據日誌序列號（logsequence number ,LSN）來獲取跟蹤變動數據
390 --Sys.fn_cdc_map_time_to_lsn獲取變動範圍內的最大、最小LSN值。可使用
391 Smallest greater than;
392 smallest greater than orequal;
393 largest less than;
394 largest less than or equal;
395 
396 --如查詢某個時間段插入的數據
397 INSERT INTO [dbo].[SystemPara]
398         ( [ParaValue] ,
399           [Name] ,
400           [Description]
401         )
402 VALUES  ( '中國' , -- ParaValue - varchar(50)
403           '中國' , -- Name - varchar(50)
404           '中國'  -- Description - varchar(50)
405         )
406 
407 GO
408 
409 --檢查數據
410 --1刪除
411 --2插入
412 --三、4更改
413 --曾經插入過的記錄就算delete了也能夠查詢出來
414 DECLARE @bglsn VARBINARY(10)= sys.fn_cdc_map_time_to_lsn('smallest greater than or equal',
415                                                          '2013-10-21 12:00:00.997')
416 DECLARE @edlsn VARBINARY(10)= sys.fn_cdc_map_time_to_lsn('largest less than or equal',
417                                                          GETDATE())
418 SELECT  *
419 FROM    [cdc].[DBO_SYSTEMPARA_CT]
420 WHERE   [__$operation] = 2
421         AND [__$start_lsn] BETWEEN @bglsn AND @edlsn
422 
423 
424 
425 --C、sys.fn_cdc_map_lsn_to_time 查詢變動時間：
426 SELECT  [__$operation] ,
427         CASE [__$operation]
428           WHEN 1 THEN '刪除'
429           WHEN 2 THEN '插入'
430           WHEN 3 THEN '更新（捕獲的列值是執行更新操做前的值）'
431           WHEN 4 THEN '更新（捕獲的列值是執行更新操做後的值）'
432         END [類型] ,
433         sys.fn_cdc_map_lsn_to_time([__$start_lsn]) [更改時間] ,
434         *
435 FROM    [cdc].[DBO_SYSTEMPARA_CT]
436 
437 
438 
439 --D、獲取LSN邊界
440 SELECT  sys.fn_cdc_get_max_lsn() [數據庫級別的最大LSN] ,
441         sys.fn_cdc_get_min_lsn('cdc.DBO_SYSTEMPARA_CT') [捕獲實例的lsn]
442 
443 
444 這兩個值能夠用於上面提到的函數裏面用於篩選數據之用。
445 
446 
447 ----------------------------------------------------------
448 --1. CDC的目的是什麼？
449 
450 --CDC就是極大地方便了咱們獲取某個表數據更新狀況的一個機制。它經過一個獨立的進程，
451 --異步讀取日誌文件，而不是觸發器的方式工做。並且它的數據是會持久化保存到一個系統表的。
452 --2. CDC是否是SQL Server 2008特有的功能，對別的數據庫或者早期版本是否起做用？
453 
454 --CDC是SQL Server 2008特有的功能，並且是企業版特有的功能。開發版也有該功能，但僅用於測試場合。
455 
456 
457 
458 --3. CDC讀取日誌，那麼若是日誌被截斷了會怎麼樣？
459 
460 --若是某部分日誌，CDC的進程尚未讀取，那麼在截斷日誌時就會忽略這個部分,不能截斷!!
461 
462 --捕獲進程是一個獨立的，它隨着代理服務啓動而啓動。兩次掃描之間間隔5分鐘。
463 
464 
465 
466 --4. 系統表中的數據是否會永久存在？
467 
468 --不會，它會被保留3天。會有一個清理的做業，天天晚上2點進行掃描。
469 
470 
471 
472 --最後，補充一點的是，CDC功能依賴Agent服務，由於它有兩個操做都是經過做業來啓動的。

刪除cdc

--刪除CDC步驟


--要刪除哪一個庫的cdc 先use哪一個庫
use [store_xinye]
go




--查詢每一個CDC表的配置 填寫@capture_instance須要用到
EXEC sys.sp_cdc_help_change_data_capture


--備份CDC表 將CDC系統表相關數據導出來
select * into cdc_captured_columns from cdc.captured_columns
select * into cdc_change_tables from cdc.change_tables
select * into cdc_dbo_Logistics_CT from cdc.dbo_Logistics_CT
select * into cdc_ddl_history from cdc.ddl_history
select * into cdc_index_columns from cdc.index_columns
select * into cdc_lsn_time_mapping from cdc.lsn_time_mapping



--禁用 這個操做會直接刪除CDC系統表
EXECUTE sys.sp_cdc_disable_table
@source_schema = N'dbo',
@source_name = N'Logistics',
@capture_instance = N'dbo_Logistics';


--全部CDC相關對象都會刪除 包括 cdc的capture和cleanup 做業
EXECUTE sys.sp_cdc_disable_db;

 

change tracking和CDC，當分區切換的時候，這期間的數據都不能同步/記錄，因此要分區切換最好仍是用自增ID

做業 'cdc.MGLog_capture' 已成功啓動。
做業 'cdc.MGLog_cleanup' 已成功啓動。
警告: @allow_partition_switch 參數設置爲 1。變動數據捕獲功能將不跟蹤在表中因分區切換而引入的變動，這樣，在使用變動時，將致使數據不一致。有關在使用變動數據捕獲時分區切換行爲的詳細信息，請參閱聯機叢書。

 

 

f