Azure Storage系列之數據遷移

    再來談一談Azure storage的數據遷移問題，當咱們須要把數據遷移到storage的時候，咱們其實有不少種方式能夠選擇，每種方式適用的場景是不同的，總結起來的話能夠分爲如下這些

        網絡傳輸

• • 圖形化界面

  • AzCopy

  • PowerShell

  • CLI

  • SDK 

  • Azure Data Factory

        物理傳輸

• • Azure Import/Export

  • Azure Databox

    咱們能夠選擇的方式很多，可是具體哪一種合適，仍是要case by case來看

    首先，網絡傳輸一個最大的弊端就是速度較慢，穩定性差，若是咱們有大規模的數據須要傳輸到雲上的話（好比10T+），建議最好不要使用網絡傳輸，速度不可控，對帶寬依賴性很是強，而且還有傳輸中斷的風險，對於這種大規模數據，更推薦使用Azure import/Export這種物理方式進行傳輸，直接把數據拷貝到硬盤裏，加密以後直接寄送到數據中心，速度絕對是要快得多的

    其次，若是數據量比較少的話，那麼網絡傳輸比物理傳輸優點會更明顯，在這麼多種網絡傳輸的方案裏，更推薦使用azcopy，azcopy出來的時間已經好久了，目前通過一個大版本的更新後，如今最新版是azcopy v10，v10的使用比之前要更簡單，還能支持使用Azure AD進行身份驗證

• • 
    

    Global有一張圖其實能夠很好地指引咱們如何選擇數據傳輸的方式

    

    固然，除此以外其實還有一些第三方產品也可使用，好比cloudberry，不過這種產品不少都是付費的，有興趣的能夠試下

    接下來，咱們會重點介紹下AzCopy的使用，AzCopy v10和之前相比一個很大的不一樣是它不須要安裝，它只是一個可執行文件，因此只須要拷貝到服務器上就能夠運行

    AzCopy v10的下載地址以下：

    https://aka.ms/downloadazcopy-v10-windows

    使用這個地址每次下載到的都會是最新版本的azcopy

    若是說咱們想下載固定版本的azcopy的話，能夠首先獲取azcopy的固定url，每次下載時使用此url進行下載便可

    在Windows 10上能夠直接用curl獲取相關的信息

    (curl https://aka.ms/downloadazcopy-v10-windows -MaximumRedirection 0 -ErrorAction silentlycontinue).RawContent

    

    下載完成後，便可看到azcopy的真容

    

    在進行數據的拷貝以前，咱們先了解下azcopy進行身份驗證的方式。整體來講，azcopy支持兩種身份驗證方式，Azure AD和SAS，這和之前版本的azcopy是徹底不同的，之前的azcopy是直接用storage的key來作身份驗證的，可是azcopy v10裏更推薦的是使用SAS和Azure AD

    

存儲類型	支持的受權方法
Blob存儲	Azure AD & SAS
Blob存儲（分層命名空間）	Azure AD & SAS
文件存儲	SAS

    咱們能夠用AzCopy完成不少數據拷貝的任務，涵蓋多種場景，功能很是強大，接下來咱們就準備拿實際的案例來講明下到底何時最應該用azcopy以及azcopy到底怎麼用

    1.本地文件/文件夾->storage

    2.storage->本地文件/文件夾

    3.storage->storage

    4.S3->storage