mysql 、sqlserver數據庫，實時同步，增量同步（腳本模式）

下載網站:www.SyncNavigator.CN 
 客服QQ1793040
----------------------------------------------------------

關於HKROnline SyncNavigator 註冊機價格的問題

 

 

HKROnline SyncNavigator 8.4.1 非破解版 註冊機 受權激活教程
 

 

最近一直在研究數據庫同步的問題，在網上查了不少資料，也請教了不少人，找到了一種經過快照複製的方法。研究了一番後發現以前就是用的這個方法，效果不是很好，果斷放棄。通過了一番尋覓和他人指點，最後從一位熱心網友那裏得知一款很好用的軟件—— SyncNavigator。

 

 

好東西就要拿出來跟你們分享，因此今天向你們介紹一下這款軟件，及其一些使用方法。下面先看看它有什麼強大的功能吧！

 

SyncNavigator的基本功能：

 

自動同步數據/定時同步數據
不管是實時同步/24小時不間斷同步，仍是根據計劃任務(每小時/每日/每週/等)定時自動同步都能徹底勝任。

完整支持 Microsoft SQL Server
完整支持 Microsoft SQL Server 2000 2005 2008 數據庫類型。並能在不一樣數據庫版本之間相互同步數據。

數據集成（Data Integration）產品提供數據同步服務，有嚮導模式和腳本模式兩種方式。嚮導模式更簡單，腳本模式更靈活。

本章介紹如何將Table Store中的增量數據經過數據集成的腳本模式同步到OpenSearch中。

途徑

數據集成腳本模式

• Reader：OTSStreamReader
• Writer：OSSWriter

配置Table Store

無需配置。

配置OSS

無需配置。

配置數據集成

1. 建立Table Store數據源。
    

   說明

    

   • 若是已經建立了Table Store的數據源，能夠跳過這一步。
   • 若是您不但願建立數據源，也能夠在後續的配置頁面中配置相應的endpoint、instanceName、AccessKeyID和AccessKeySecret。

   建立數據源的具體步驟，請參見建立Table Store數據源。

2. 建立OSS數據源。
   本操做與上一個步驟相似，只是選擇OSS做爲數據源。

    

    

   說明 配置OSS數據源的參數時，注意Endpoint不包括bucketName。
3. 建立同步任務。
   1. 登陸數據集成控制檯。
   2. 在同步任務頁面，選擇腳本模式。
   3. 在彈出的導入模板對話框中，來源類型選擇OTS Stream，目標類型選擇OSS。
   4. 單擊確認，進入配置頁面。
4. 完善配置項。
   1. 在配置界面，已經提早嵌入了OTSStreamReader和OSSWriter的模板，請參考如下解釋完成配置。
       

      { "type": "job", "version": "1.0", "configuration": { "setting": { "errorLimit": { "record": "0" # 容許出錯的個數，當錯誤超過這個數目的時候同步任務會失敗。 }, "speed": { "mbps": "1", # 每次同步任務的最大流量。 "concurrent": "1" # 每次同步任務的併發度。 } }, "reader": { "plugin": "otsstream", # Reader插件的名稱。 "parameter": { "datasource": "", # Table Store的數據源名稱，若是有此項則再也不須要配置endpoint，accessId，accessKey和instanceName。 "dataTable": "", # TableStore中的表名。 "statusTable": "TableStoreStreamReaderStatusTable", # 存儲TableStore Stream狀態的表，通常不須要修改。 "startTimestampMillis": "", # 開始導出的時間點，因爲是增量導出，須要循環啓動此任務，則這裏每次啓動的時候的時間都不同，這裏須要設置一個變量，好比${start_time}。 "endTimestampMillis": "", # 結束導出的時間點。這裏也須要設置一個變量，好比${end_time}。 "date": "yyyyMMdd", # 導出哪一天的數據，功能和startTimestampMillis、endTimestampMillis重複，這一項須要刪除。 "mode": "single_version_and_update_only", # TableStore Stream導出數據的格式，目前須要設置成：single_version_and_update_only。若是配置模板中沒有則須要增長。 "column":[ # 須要導出TableStore中的哪些列到OSS中去，若是配置模板中沒有則須要增長，具體配置個數由用戶自定義設置 { "name": "uid" # 列名，這個是Table Store中的主鍵 }, { "name": "name" # 列名，這個是Table Store中的屬性列。 }, ], "isExportSequenceInfo": false, # single_version_and_update_only 模式下只能是false。 "maxRetries": 30 # 最大重試次數。 } }, "writer": { "plugin": "oss", # Writer插件的名稱 "parameter": { "datasource": "", # OSS的數據源名稱 "object": "", # 最後備份到OSS的文件名的前綴，建議Table Store實例名/表名/date。好比"instance/table/{date}" "writeMode": "truncate", # 支持truncate|append|nonConflict，truncate會清理已存在的同名文件；append會加到已存在的同名文件內容後面；nonConflict會報錯當同名文件存在時。 "fileFormat": "csv", # 文件類型 "encoding": "UTF-8", # 編碼類型 "nullFormat": "null", # 當遇到控制時，在文本中如何表示 "dateFormat": "yyyy-MM-dd HH:mm:ss", # # 時間格式 "fieldDelimiter": "," # 每一列的分隔符 } } } }

       

      說明 詳細的配置項解釋請參見 配置OTSStreamReader和 配置OSSWriter。
   2. 單擊保存，保存任務。
5. 運行任務。
   1. 單擊頁面上方的運行。
   2. 在彈出的配置框中，配置變量參數。
   3. 單擊確認後開始運行任務。
   4. 運行結束後登陸OSS控制檯檢查是否成功備份文件。
6. 配置調度。
   1. 單擊提交。
   2. 在彈出的對話框中，配置各項參數。
      

       

      參數說明以下：

       

      參數	描述
      調度類型	選擇週期調度。
      自動重跑	若是勾選，則當失敗的時候會默認重試3次，每次間隔2分鐘。
      生效日期	使用默認值。默認從1970-01-01到一百年後。
      調度週期	選擇分鐘。
      起始時間	選擇00:00至23:59，表示全天24小時都須要調度。
      時間間隔	選擇5分鐘。
      start_time	輸入$[yyyymmddhh24miss-10/24/60]，表示調度時間減去10分鐘。
      end_time	輸入$[yyyymmddhh24miss-5/24/60]，表示調度時間減去5分鐘。
      date	輸入${bdp.system.bizdate}，表示調度日期。
      依賴屬性	若是有依賴則填寫，沒有則不用填。
      跨週期依賴	選擇自依賴，等待上一調度週期結束，才能繼續運行。

   3. 單擊確認。

      週期性的同步任務配置完成，當前配置文件顯示爲只讀狀態。

7. 查看任務。
   1. 單擊頁面上方的運維中心。
   2. 在左側導航欄，選擇任務列表 > 週期任務，能夠查看新建立的同步任務。
   3. 新建的任務會從次日00點開始執行。
      • 在左側導航欄中，選擇任務運維 > 週期實例，查看每個預建立的當天同步任務，每一個任務相隔5分鐘，每一個任務處理過去10~5分鐘的數據。

      • 單擊實例名稱，能夠查看詳情。

   4. 單個任務在運行中或運行結束後，能夠查看日誌。
8. 檢查導出到OSS中的數據。

   登陸OSS控制檯，查看是否生成了新的文件，文件內容是否正確。

至此，Table Store數據能夠在延遲5~10分鐘的基礎上自動同步到OSS中了。