如何快速將第三方雲存儲數據遷移至騰訊雲對象存儲COS

原文發佈於微信公衆號：騰訊雲存儲（關注有驚喜）

遷移說明

對於使用第三方雲平臺存儲的用戶，對象存儲 COS 支持如下兩種遷移方式，幫助用戶將第三方雲平臺的存儲數據快速遷移至對象存儲 COS。

遷移方式	交互形式	區分大小文 件的閾值	遷移併發度	HTTPS  安全傳輸
遷移服務 平臺 MSP	可視化頁面操做	採用默認設置	全局統一	開啓
COS  Migration	修改配置文件，非可視化操做。	可自定義調整	針對大文件小文件分別定義併發度	可選擇是否開啓，關閉有利於加快遷移速度。

這兩種遷移方式都支持查看數據遷移進度、文件一致性校驗、失敗重傳、斷點續傳等功能，可以知足用戶數據基本的遷移需求。

但這兩種遷移方式在交互形式和功能特色等方面又有所差異，如上表所示。用戶可根據以上的差別對比，選擇最適合的一種方式進行數據遷移。

遷移方法

1、遷移服務平臺 MSP

遷移服務平臺 MSP 是集成了多種遷移工具，而且提供可視化界面的平臺，可以幫助用戶輕鬆監控和管理大規模的數據遷移任務。

其中「文件遷移工具」可以幫助用戶將數據從各種公有云或數據源站中遷移至對象存儲 COS。

遷移操做步驟以下：

1. 登陸 控制檯→遷移服務平臺 MSP。

2. 單擊左側菜單欄中的【遷移工具】，找到「文件遷移工具」入口，並單擊【當即使用】。

3. 新建遷移任務並配置任務信息。

4. 啓動任務。

在新建遷移任務當中，能夠看到支持的第三方雲存儲遷移平臺有6個。

如下遷移教程，會在下篇中詳解：

• 阿里雲 OSS 遷移

• 七牛雲 KODO 遷移

• UCLOUD UFile 遷移

• 金山雲 KS3 遷移

• 百度雲 BOS 遷移

• AWS S3 遷移

操做技巧：

在進行數據遷移過程當中，數據源的讀取速度會由於不一樣的網絡環境而有所不一樣，但客戶根據實際情況在「新建文件遷移任務」時選擇較高的 QPS 併發度，有助於提升遷移速度 。

2、COS Migration

COS Migration 是一個集成了 COS 數據遷移功能的一體化工具。用戶只須要經過簡單的配置操做，即可將數據快速遷移至 COS 中。

遷移操做步驟以下：

1. 安裝 Java 環境。

2. 安裝 COS Migration 工具。

3. 修改配置文件。

4. 啓動工具。

具體的操做方法，請點擊查看 COS Migration 工具。

操做技巧：

下面介紹如何配置 COS Migration 能最大程度提升遷移速度：

1. 根據自身網絡環境調整區分大小文件的閾值和遷移併發度，實現大文件分塊，小文件併發    傳輸的最佳遷移方式。

調整工具執行時間和設立帶寬限制，保證自身業務運行不受遷移數據帶寬佔用影響。上述    調整可在配置文件 config.ini 中[common]分節，修改以下參數進行調整：

參數名稱	參數說明
smallFileThreshold	小文件閾值參數，大於等於這個閾值使用分塊上傳，默認設置爲5MB。
bigFileExecutorNum	大文件併發度，默認值爲8。 若是是經過外網來鏈接 COS，且帶寬較小，請減少該併發度。
smallFileExecutorNum	小文件併發度，默認值爲64。 若是是經過外網來鏈接 COS，且帶寬較小，請減少該併發度。
executeTimeWindow	該參數定義遷移工具天天執行的時間段，其餘時間則會進入休眠狀態，休眠狀態暫停遷移並會保留遷移進度，直到下一個時間窗口自動繼續執行。

2. 採用分佈式並行傳輸能夠進一步加快遷移速度。用戶能夠考慮使用多臺機器安裝 COS Migration 並分別執行不一樣源數據的遷移任務。

原文發佈於微信公衆號：騰訊雲存儲（關注有驚喜）