使用騰訊雲對象存儲COS之間的數據如何進行遷移

原文請查閱微信公衆號：騰訊雲存儲

全託管公網遷移模式中，無需自主部署 Agent，任務建立以後自動化執行。騰訊雲 COS 間遷移時 MSP 將經過內網拉取源對象存儲桶數據並保存到目標對象存儲桶，不會產生額外費用。

本文將詳細介紹騰訊雲 COS 間遷移，應如何配置全託管公網遷移任務，實現數據遷移。

準備工做

1、騰訊雲對象存儲

1. 建立目標存儲空間，用於存放遷移的數據。

2. 建立用於遷移的子用戶並授予相關權限：

• 登陸騰訊雲訪問管理控制檯。

• 在左導航欄中選擇【用戶】>【用戶列表】，進入用戶列表頁面。

• 新建子用戶，勾選編程訪問及騰訊雲控制檯訪問。

• 搜索並勾選 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。

• 完成子用戶建立並保存子用戶名，訪問登陸密碼，SecretId，SecretKey。

說明： 遷移服務也能夠使用主帳號操做，可是出於安全考慮，建議新建子用戶並使用子用戶 API 密鑰進行遷移，遷移完成後刪除。

操做步驟

1、登陸遷移服務平臺

1. 登陸控制檯找到遷移服務平臺 ，在左導航欄中單擊進入【遷移工具】頁面。

2. 找到【文件遷移工具】模塊，單擊【當即使用】，進入文件遷移工具配置頁面。

2、新建遷移任務

1. 在文件遷移工具頁面，單擊【新建任務】，進入新建文件遷移任務界面，進行遷移參數的設置。

2. 設置遷移任務名稱。

任務名稱：字符長度爲1至60個字符，容許的字符爲中文、英文、0-九、_、-。此處設置的名稱，將用於在任務列表中查看遷移狀態和遷移進度。

3. 設置要遷移的文件來源。
此處遷移源服務提供商應選擇騰訊雲 COS，並在下方 AccessKey，SecretKey 文本框中輸入先前新建用於遷移的騰訊雲子用戶SecretId，SecretKey。源對象存儲桶列表可在填入密鑰後單擊下拉框右側刷新按鈕獲取。

4. 選擇文件存儲方式。
根據遷移的需求，設定遷移後文件的存儲方式，能夠選擇：標準存儲、低頻存儲、保持原存儲屬性、歸檔存儲。

5. 選擇 Header 設置。
若是源桶中的文件設定了 Header/Tag 而且須要在遷移後保留，請選擇保留或設置替換規則。

6. 設定遷移規則。
選擇對指定桶中的所有文件進行遷移，或僅遷移指定前綴的文件。

7. 指定遷移任務的開始時間。
如需在指定時間開始遷移，開啓此開關並設定開始時間。

8. 設定最高併發數。
各公有云廠商的對象存儲都有最高併發限制。爲確保業務穩定，請在遷移前與源廠商確認並設置最高遷移可用 QPS。

9. 選擇要遷移到的目標位置。
在遷移目標信息中，輸入用於遷移的騰訊雲子用戶 SecretId，SecretKey。目標對象存儲桶列表可在填入密鑰後單擊下拉框右側刷新按鈕獲取。

10. 指定遷移到目標桶的指定目錄。

• 若遷移源與目標源有內容不一樣，名稱相同的文件，建議在【同名文件】配置處選擇【跳過（保留目標桶中已有的同名文件）】，系統默認選擇【覆蓋（源桶中的文件會覆蓋目標桶中的同名文件）】。

• 若在遷移過程當中文件內容有變化，須要進行二次遷移。

• 保存到根目錄：直接將源桶中的文件按原始相對路徑保存到目標桶的根目錄。

• 保存到指定目錄：將源桶中的文件保持原始相對路徑保存到指定目錄中。

例如：
源桶中的文件/a.txt，/dir/b.txt兩個文件，文本框中填寫「dest」，那麼遷移後這兩個文件在目標桶中的路徑爲：/dest/a.txt，/dest/dir/b.txt。
若是文本框中填寫dest/20180901，那麼遷移後這兩個文件在目標桶中的路徑爲：/dest/20180901/a.txt，/dest/20180901/dir/b.txt。

注意：若遷移源與目標源有內容不一樣，名稱相同的文件，建議在【同名文件】配置處選擇【跳過（保留目標桶中已有的同名文件）】，系統默認選擇【覆蓋（源桶中的文件會覆蓋目標桶中的同名文件）】。若在遷移過程當中文件內容有變化，須要進行二次遷移。

11. 選擇遷移模式。

• 新建遷移任務後當即啓動全託管遷移：選擇託管遷移，用戶單擊「新建並啓動」後 MSP 服務將經過公網訪問源存儲進行遷移。

• 新建遷移任務後手動下載 Agent 啓動遷移：選擇 Agent 模式遷移，用戶在單擊「新建並啓動」後，將僅建立任務配置，須要用戶手動下載 Agent 在遷移源一側的服務器上部署以後纔會正式啓動遷移。Agent 模式適用於已有專線但願經過專線遷移的場景。

12. 單擊【新建並啓動】，便可啓動遷移任務。

3、遷移狀態和進度

在文件遷移工具主界面中，能夠查看全部文件遷移任務的狀態和進度：

• 「任務完成」狀態，綠色是任務完成而且全部文件都遷移成功，黃色是遷移任務完成但部分文件遷移失敗。

• 單擊「重試失敗任務」連接後，該任務中失敗的文件將會重試遷移，已經成功遷移的文件不會重傳。

• 單擊「導出」連接能夠導出遷移過程當中失敗的文件列表。

4、遷移完成時間

遷移速度由遷移過程當中涉及到的每個環節的最低速度決定，同時受到網絡傳輸速度和最大併發數影響。

影響因素有：

影響因素	說明
遷出源的讀取速度	數據源的讀取速度因不一樣的服務商而不一樣，一般： 傳輸速度在50Mbps - 200Mbps之間。 文件讀取併發在500 - 3000之間（大量小文件的傳輸受併發限制）。
MSP 平臺的傳輸速度	MSP 平臺提供最大200Mbps的遷移帶寬。
遷入目標位置的寫入速度	騰訊雲對象存儲 COS：寫入傳輸速度200Mbps，寫入併發500 - 800之間。 總體遷移速度會是6MByte - 25MByte（即21GB/小時 - 87GB/小時）之間。

關注騰訊雲 掌握更多雲技術