ETL之增量抽取方式

一、觸發器方式 觸發器方式是廣泛採起的一種增量抽取機制。該方式是根據抽取要求，在要被抽取的源表上創建插入、修改、刪除3個觸發器，每當源表中的數據發生變化，就被相應的觸發器將變化的數據寫入一個增量日誌表，ETL的增量抽取則是從增量日誌表中而不是直接在源表中抽取數據，同時增量日誌表中抽取過的數據要及時被標記或刪除。爲了簡單起見，增量日誌表通常不存儲增量數據的全部字段信息，而只是存儲源表名稱、更新的關鍵字值和更新操做類型(KNSEN、UPDATE或DELETE)，ETL增量抽取進程首先根據源表名稱和更新的關鍵字值，從源表中提取對應的完整記錄，再根據更新操做類型，對目標表進行相應的處理。

例如，對於源表爲ORACLE類型的數據庫，採用觸發器方式進行增量數據捕獲的過程以下：

這樣，對錶T的全部DML操做就記錄在增量日誌表DML_LOG中，注意增量日誌表中並無徹底記錄增量數據自己，只是記錄了增量數據的來源。進行增量ETL時，只須要根據增量日誌表中的記錄狀況，反查源表獲得真正的增量數據。 SQL代碼 (1)建立增量日誌表DML_LOG： CREATE TABLE DML_LOG( ID NUMBER PRIMARY KEY, ／／自增主鍵 TABLE NAME VARCHAR2(200)． ／／源表名稱 RECORD ID NUMBER, ／／源表增量記錄的主鍵值 DML TYPE CH根(1)。∥增量類型，I表示新增：U表示更新；D表示刪除 EXECUTE DATE DATE ／／發生時間 )；

(2)爲DML_LOG建立一個序列SEQ_DML_LOG上，以便觸發器寫增量日誌表時生成ID值。 (3)針對要監聽的每一張表，建立一個觸發器，例如對錶TEST建立觸發器以下： CREATE OR REPLACE TRIGGER T BEFORE INSERT OR UPDATE OR DELETE ON T FOR EACH ROW DECLARE 1 DML TYPE VARCHAR2(1)； BEGIN IF INSERTING THEN L_DML TYPE：= I’； ELSIF UPDATING THEN I_DML_TYPE：=。TY； ELSIF DELETING THEN L_DML_TYPE：= D’； ENDIF；

IF DELETING THEN INSERT INTO DML_LOG(ID，TABLE_NAME，RECORD— ID，EXECUTE_DATE，DMLJYPE) VALUES(SEQ_DML_LOG．NEXTVAL，’TEST ，：OLD．ID，SYSDATE， L_DML_TYPE)； ELSE INSERT INTO DML_LOG(ID，TABLE_NAME，RECORD_ ID，EXECUTE_DATE，DMLJYPE) VALUES(SEQ_DML_LOG．NEXTVAL，。TEST ，：NEW．ID，SYSDATE，L TIROL_TYPE)； ENDIF； END；

二、時間戳方式

時間戳方式是指增量抽取時，抽取進程經過比較系統時間與抽取源表的時間戳字段的值來決定抽取哪些數據。這種方式須要在源表上增長一個時間戳字段，系統中更新修改表數據的時候，同時修改時間戳字段的值。有的數據庫(例如SQL SERVER)的時間戳支持自動更新，即表的其它字段的數據發生改變時，時間戳字段的值會被自動更新爲記錄改變的時刻。在這種情下，進行ETL實施時就只須要在源表加上時間戳字段就能夠了。對於不支持時間戳自動更新的數據庫，這就要求業務系統在更新業務數據時，經過編程的方式手工更新時間戳字段。使用時間戳方式能夠正常捕獲源表的插入和更新操做，但對於刪除操做則無能爲力，須要結合其它機制才能完成。

更新時間戳：

三、全表刪除插入方式

全表刪除插入方式是指每次抽取前先刪除目標表數據，抽取時全新加載數據。該方式實際上將增量抽取等同於全量抽取。對於數據量不大，全量抽取的時間代價小於執行增量抽取的算法和條件代價時，能夠採用該方式。

四、全表比對方式

全表比對即在增量抽取時，ETL進程逐條比較源表和目標表的記錄，將新增和修改的記錄讀取出來。優化以後的所有比對方式是採用MD5校驗碼，須要事先爲要抽取的表創建一個結構相似的MD5臨時表，該臨時表記錄源表的主鍵值以及根據源表全部字段的數據計算出來的(BI)

MD5校驗碼，每次進行數據抽取時，對源表和MD5臨時表進行MD5校驗碼的比對，若有不一樣，進行UPDATE操做：如目標表沒有存在該主鍵值，表示該記錄尚未，則進行INSERT操做。

而後，還須要對在源表中已不存在而目標表仍保留的主鍵值，執行DELETE操做。

五、日誌表方式

對於創建了業務系統的生產數據庫，能夠在數據庫中建立業務日誌表，當特定須要監控的業務數據發生變化時，由相應的業務系統程序模塊來更新維護日誌表內容。增量抽取時，

經過讀日誌表數據決定加載哪些數據及如何加載。日誌表的維護須要由業務系統程序用代碼來完成。

六、系統日誌分析方式

該方式經過分析數據庫自身的日誌來判斷變化的數據。關係犁數據庫系統都會將全部的DML操做存儲在日誌文件中，以實現數據庫的備份和還原功能。ETL增暈抽取進程經過對數據庫的日誌進行分析，提取對相關源表在特定時間後發生的DML操做信息，就能夠得知自上次抽取時刻以來該表的數據變化狀況，從而指導增量抽取動做。有些數據庫系統提供了訪問日誌的專用的程序包(例如ORACLE的LOGMINDER)，使數據庫日誌的分析工做獲得大大簡化。

、特定數據庫方式（ORACLE） 如下介紹常見的針對特有數據庫系統的增景抽取方式。 7.1 ORACLE改變數據捕獲(CHANGEDDATACAPTURE，CDC)方式：ORACLECDC特性是在ORAELE9I數據庫中引入的。CDC可以幫助識別從上次抽取以後發生變化的數據。 利用CDC，在對源表進行INSERT、UPCLATE或DELETE等操做的同時就能夠提取數據，而且變化的數據被保存在數據庫的變化表中。這樣就能夠捕獲發生變化的數據，而後利用數據庫視圖以一種可控的方式提供給ETL抽取進程，做爲增量抽取的依據。CDC方式對源表數據變化狀況的捕獲有兩種方式：同步CDC和異步CDC。同步CDC使用源數據庫觸發器來捕獲變動的數據。這種方式是實時的，沒有任何延遲。當DML操做提交後，變動表中就產生了變動數據。異步CDC使用數據庫重作日誌(REDOLOG)文件，在源數據庫發生變動之後，才進行數據捕獲。 7.2 ORACLE閃回查詢方式：ORACLE9I以上版本的數據庫系統提供了閃回查詢機制，容許用戶查詢過去某個時刻的數據庫狀態。這樣，抽取進程能夠將源數據庫的(BI) 當前狀態和上次抽取時刻的狀態進行對比，快速得出源表數據記錄的變化狀況。

八、比較和分析

可見，ETL在進行增量抽取操做時，有以上各類機制能夠選擇。現從兼容性、完備性、性能和侵入性3個方面對這些機制的優劣進行比較分析。數據抽取須要面對的源系統，並不必定都是關係型數據庫系統。某個ETL過程須要從若干年前的遺留系統中抽取EXCEL或者CSV文本數據的情形是常常發牛的。這時，全部基於關係型數據庫產品的增量機制都沒法工做，時間戳方式和全表比對方式可能有必定的利用價值，在最壞的狀況下，只有放棄增量抽取的思路，轉而採用全表刪除插入方式。完備性方面，時間戳方式不能捕獲DELETE操做，須要結合其它方式一塊兒使用。增量抽取的性能因素表如今兩個方面，一是抽取進程自己的性能，二是對源系統性能的負面影響。觸發器方式、日誌表方式以及系統日誌分析方式因爲不須要在抽取過程當中執行比對步驟，因此增量抽取的性能較佳。全表比對方式須要通過複雜的比對過程才能識別出更改的記錄，抽取性能最差。在對源系統的性能影響方面，觸發器方式因爲是直接在源系統業務表上創建觸發器，同時寫臨時表，對於頻繁操做的業務系統可能會有必定的性能損失，尤爲是當業務表上執行批量操做時，行級觸發器將會對性能產生嚴重的影響；同步CDC方式內部採用觸發器的方式實現，也一樣存在性能影響的問題；全表比對方式和日誌表方式對數據源系統數據庫的性能沒有任何影響，只是它們須要業務系統進行額外的運算和數據庫操做，會有少量的時間損耗；時間戳方式、系統日誌分析方式以及基於系統日誌分析的方式(異步CDC和閃回查詢)對數據庫性能的影響也是很是小的。對數據源系統的侵入性是指業務系統是否要爲實現增抽取機制作功能修改和額外操做，在這一點上，時間戳方式值得特別關注該方式除了要修改數據源系統表結構外，對於不支持時間戳字段自動更新的關係型數據庫產品，還必需要修改業務系統的功能，讓它在源表T執行每次操做時都要顯式的更新表的時間戳字段，這在ETL實施過程當中必須獲得數據源系統高度的配合才能達到，而且在多數狀況下這種要求在數據源系統看來是比較「過度」的，這也是時間戳方式沒法獲得普遍運用的主要緣由。另外，觸發器方式須要在源表上創建觸發器，這種在某些場合中也遭到拒絕。還有一些須要創建臨時表的方式，例如全表比對和日誌表方式。可能由於開放給ETL進程的數據庫權限的限制而沒法實施。一樣的狀況也可能發生在基於系統日誌分析的方式上，由於大多數的數據庫產品只容許特定組的用戶甚至只有DBA才能執行日誌分析。閃回查詢在侵入性方面的影響是最小的.

在我從事的ETL工做中，大部分都是採用時間戳方式進行增量抽取，如銀行業務，VT新開戶，使用時間戳方式，能夠在固定時間內，組織人員進行數據抽取，進行整合後，加載到目標系統。而觸發器方式，雖然能夠自動進行抽取，可是執行頻率過多，影響效率！第三種方式對於大數據量來講是很是不可取的，尤爲是對於一些銀行、電信行業，由於數據全量比較大，因此進行增量校對是比較耗時的，總起來講，我的趨向使用時間戳方式進行增量抽取，固然具體狀況要看工做的使用環境！