杉巖數據銀行Documentum遷移方案

1、方案原理

常規的Documentum遷移工具，如圖1所示EMC原廠提供的EMA（Documentum Enterprise Migration Appliance）遷移工具，一般經過繞開Documentum的內容服務器API接口，根據Documentum內部文件對象索引規則直接訪問數據庫和NAS服務器來加速Documentum遷移過程，性能相比於經過API接口遷移可以提高10倍，可是每一個小時也只能搬遷120萬對象，若是Documentum存儲了10億文件對象，刨去其餘工做或者異常處理的時間，最短也須要35天時間，這是一個充滿風險和不可控因素的過程，另外由於應用側不可能停機等待35天，因此應用側必須改造業務支持同時從兩邊去讀寫數據，增大了業務改造工做量和業務代碼的複雜度。

如圖2所示，杉巖提供的Documentum遷移方案，一樣經過直接訪問Documentum的數據庫獲取文件的元數據和索引信息來提升遷移性能，另外基於NAS納管特性，針對歷史存量數據，在業務無需停機的狀況下短期內完成歷史存量數據的納管，而後在業務切割的極短期窗口內，基於數據庫時間戳快速完成增量數據的納管，此時上層業務便可當即恢復正常服務，整個業務切換完成。

業務切割到SandStone MOS完成後，整個影像系統訪問NAS和SandStone MOS的數據流程如圖3所示：

全部新的文件保存到SandStone MOS，歷史文件數據的讀取由對象網關服務層自動代理到NAS；
業務在線的狀況下，管理員經過SandStone MOS生命週期轉移特性，設置NAS數據轉移到SandStoneMOS的具體時間點和策略，SandStone MOS將自動完成全量NAS文件到自身的搬遷。
2、 業務接口改造

影像平臺使用Documentum，經過Documentum提供的HTTP方式的API接口完成增刪改查操做，SandStone MOS提供的S3接口一樣屬於HTTP方式的API，因此業務系統改造只須要從原來的Documentum接口改成調用SandStone MOS提供的標準S3接口便可。原有的方式是：影像系統經過Documentum API對數據進行檢索，獲得文件的r_object_id，進而根據r_object_id獲取文件。數據完成遷移以後：影像系統經過MOS提供的檢索接口檢索對象，獲得對象名，進而根據對象名稱獲取對象。

三 業務切割關鍵問題

一、 NAS納管性能

NAS文件納管的過程當中，從Documentum的數據庫查詢文件的元數據和索引信息，而後將文件索引以及標籤信息一併寫入到SandStone MOS，Oracle 數據庫的查詢性能通常比存儲系統寫入的性能高，存在數量級的差異，因此NAS文件納管的速度主要瓶頸在存儲系統。

參考杉巖實驗室測試報告數據，4節點環境8KB文件的寫入TPS能夠達到5000，由於NAS納管的過程當中業務還沒有切割到SandStone MOS，因此全部寫性能所有能夠分配給到NAS做業，也就是納管的性能參考指標爲： 5000/s （具體值須要根據上線方案配置計算，通常會更高）。

二、 數據存量

XX銀行當前影像系統的文件主要以50KB如下，以及50~900KB的文件爲主，整套系統的數據量在300~400TB的體量，全國30多個分支銀行，每一個分支每一年視頻監控數據在50~60TB左右。

三、切割時間估算

假設存量數據總量按照300TB，平均200KB大小，總共大概是16億個文件，按照5000/s的速度，那麼如圖4所示：

存量數據的納管須要89小時，大概4天完成；
存量數據納管的這4天內，業務數據增量爲(30*50TB)/365 = 4.1TB，增量文件數量大概是2200萬
2200萬增量數據的納管須要1.2小時，也就是業務切割時須要停機的時間，加上其餘操做時間，預計2小時能夠完成。

四、 失敗回滾

假如業務切割到SandStone MOS上以後，驗收測試發現異常須要處理，能夠當即回滾業務系統，切回Documentum，由於實際數據和元數據都沒有刪除掉，整個系統可以當即恢復服務，風險小。

4、完整遷移步驟

一、準備工做

如圖所示，保證Documentum的DB和NAS服務能夠正常訪問，業務系統正常運行，部署好SandStone MOS分佈式對象存儲可用。

二、存量數據納管

無需停業務，保持業務正常在線。

記錄當前時間點T1，經過遷移工具從數據庫讀取T1時間點及以前的文件元數據及索引一併寫入SandStone MOS，完成存量NAS文件的納管工做，預計花費時間4天。

3 業務停機

業務切割過程開始，記錄當前時間點T2，停掉業務程序。

四、 增量數據納管

完成T1到T2時間點新增數據文檔的納管，預計花費時間2小時。

五、 業務切換

此時全部Documentum文件數據經過SandStone MOS都可以統一訪問，執行業務程序切換動做，將業務流量指向SandStone MOS。

6 業務恢復

啓動新的業務程序，執行功能驗證測試，若是失敗則執行回滾操做，若是驗證測試成功代表業務切割成功，整個遷移過程結束。

五 後期內容搬遷

一、數據正確性

SandStone MOS內置生命週期轉移NAS文件的過程當中，會自動對遷移完成的文件作MD5值校驗，從而保證數據的完整性和正確性。

二、平滑遷移QoS

NAS文件搬遷的過程當中爲了防止對正常業務形成性能影響，SandStone MOS支持生命週期轉移QoS控制功能，能夠根據業務性能需求以及系統性能作合理調配，優先保證業務訪問性能的前提下，最大化數據搬遷效率。

三、數據搬遷週期

業務切割成功以後，全部的新文件都直接寫入SandStone MOS，因此後續須要搬遷的NAS文件數量是固定的，按照16億計算，而後搬遷的生命週期轉移QoS控制TPS爲500，那麼須要40天的搬遷時間，具體須要根據生產環境配置調整。

6、總結

面對XX銀行上10億的Documentum存量數據，EMC原廠提供的遷移方案須要超過一個月的遷移時間，工做量大、週期長，幾乎不可行。

杉巖數據提供的Documentum遷移方案，結合SandStone MOS特有的NAS納管特性，只須要4天的時間完成存量數據納管以及2小時的停機時間窗完成增量納管以及業務切割，極大簡化了Documentum向對象存儲遷移的業務複雜度，減輕應用改造和遷移工做量，可以知足XX銀行Documentum遷移需求。