程序員如何快速將海量本地數據遷移至騰訊雲對象存儲COS

原文發佈於微信公衆號：騰訊雲存儲（關注有驚喜）

「 在大數據時代面對海量的本地文件時，隨着雲存儲的普及，愈來愈多的用戶須要把海量數據從傳統的本地存儲遷移到新的分佈式雲基礎設施上，這就須要快速高效安全的遷移方法。」

操做場景

對於擁有本地 IDC 的用戶，對象存儲 COS 在不一樣遷移類型上支持如下遷移方式，幫助用戶將本地 IDC 的海量數據快速遷移至對象存儲 COS。

用戶可依據數據遷移量、IDC 出口帶寬、IDC 空閒機位資源、可接受的遷移完成時間等因素來考慮如何選擇遷移方式。

下圖展現的是使用線上遷移時預估的時間消耗，能夠看出，若這次遷移週期超過10天或者遷移數據量超過50TB，咱們建議您選擇線下遷移，不然，請選擇線上遷移。

注意：
1MB 如下的小文件數量較多、磁盤 IO 性能不足等也會影響到數據的遷移進度。

操做方法說明

1、COS Migration 線上遷移

遷移操做步驟：

1.安裝 Java 環境。

2.安裝 COS Migration 工具。

3.修改配置文件。

4.啓動工具。

具體的操做方法，請參見COS Migration工具文檔。

如何配置才能最大程度提升遷移速度：

1.根據自身網絡環境調整區分大小文件的閾值和遷移併發度，實現大文件分塊，小文件併發傳輸的最佳遷移方式。調整工具執行時間和設立帶寬限制，保證自身業務運行不受遷移數據帶寬佔用影響。上述調整可在配置文件 config.ini 中common分節，修改以下參數進行調整：

2.採用分佈式並行傳輸能夠進一步加快遷移速度。用戶能夠考慮使用多臺機器安裝 COS Migration 並分別執行不一樣源數據的遷移任務。

2、雲數據遷移CDM 線下遷移

遷移操做步驟：

1.前往雲數據遷移 CDM 控制檯提交申請。

2.申請審覈經過後，用戶等待簽收設備。

3.收到設備後，按照遷移設備手冊把數據拷貝至設備。

4.完成數據拷貝後，在控制檯提交回寄申請並等待騰訊雲把數據遷往對象存儲 COS。

詳情請參見雲數據遷移 CDM產品文檔。

如何高效安全的經過離線遷移把數據遷移至COS：

1.在 IDC 配置10Gbps的網絡環境，爲避免本地數據環境成爲傳輸瓶頸，可配備高性能的掛載點機器，最大程度加速拷貝 。

2.適用 CDM 傳輸數據最快的方式是並行傳輸數據，用戶經過監控設備的 CPU 和內存使用率，若是當前遷移速度低於預期，能夠選擇如下並行傳輸方式。

多臺設備經過不一樣網絡接口鏈接同一個 CDM 設備。
多臺設備經過不一樣網絡接口鏈接多臺 CDM 設備。
掃一掃關注 有驚喜