ADF 第二篇：使用UI建立數據工廠

用戶能夠經過UI來建立ADF，在UI中建立ADF時，用戶不須要下載單獨的IDE，而僅僅經過 Microsoft Edge 或者 Google Chrome瀏覽器。用戶登陸Azure Portal，選擇 「Data factories」 服務，經過 Data factories 服務中建立ADF。

一，建立Data Factory實例

打開 Data factories以後，點擊「+ Add」，建立本身的數據工廠實例：

step1，填寫Basics信息

在 「Create Data Factory」 面板中開始建立數據工廠實例，首先填寫「Basics」信息：Subscription（訂閱）、資源組（Resource group）、區域（Region）、名稱（Name）和版本（Version），版本選擇V2。

step2：配置git

在V2版本中，用戶在建立數據工廠時，還能夠配置「Git configuration」，用於版本控制，能夠勾選「Configure Git later」，在建立數據工廠實例以後，擇機配置git。

step3：檢查和建立

檢查（Review+Create）無誤後，點擊「Create」 按鈕建立Data factory 實例。等實例建立完成，點擊Next Step 「Go to resource」 導航到數據工廠頁面。

二，做者和監視器

在Data factory的overview頁面上，點擊"Authoer & Monitor"按鈕，這會導航到 Azure Data Factory的用戶界面（UI）頁面中。

ADF的UI界面以下圖所示，界面中顯示了經常使用的幾個功能：Create Pipeline、Create Data Flow等。

 

因爲咱們是第一次建立Data Factory，在建立Pipeline以前，咱們還須要建立鏈接（connection）和數據集（dataset）。

三，建立鏈接服務

點擊UI界面左側的「Manage」選項卡，首先建立鏈接，鏈接有兩種類型：Linked services 和 Integration runtimes，本文建立Liked Services，因爲Linked Services 依賴於Integration runtimes，所以，咱們首先建立Integration runtimes。

1，建立Integration runtimes（IR）

如何建立Integration runtimes，請閱讀：《ADF 第三篇：Integration runtime和 Linked Service》

2，建立Linked Services

在Connections中選中「Linked Services」，點擊「+New」，建立一個新的Linked Services：

 

不一樣的數據源，有不一樣的Linked Service，要根據實際的數據源，選擇合適的數據源的類型，下圖建立的Linked Service的類型是SQL Server，輸入 Name、Connect via integration runtime、Server name、Database name、Authentication type 、 User name和 Password。

注意，Connect via integration runtime 就是上一節建立的Integration runtimes。

Azure Key Vault是一個存儲空間，用戶把密碼存儲到Azure Key Vault中，輸入Key Vault的名稱和密碼就能提取它存儲的信息。

四，建立Dataset

dataset 表明數據存儲的結構（schema），它既能夠表明數據源，從數據源中讀取數據；也能夠表明數據目標，把數據存儲到該數據目標中。

建立一個dataset實例，只是存儲了數據存儲的結構等元數據信息，而不會真正存儲實際的數據。數據真正存儲在dataset指向的底層存儲對象中，舉個例子，dataset執行SQL Server實例中的一個表，那麼數據實際存儲在這個表中，而dataset存儲的數據是表的結構和導航到表的Linked Service。同一個dataset，既能夠做爲獲取數據的數據源，也能夠做爲存儲數據的數據目標。

點擊「鉛筆」對應的「Author」選項卡，進入到Fact Resources界面，點擊「+」，選擇 Dataset，進入到建立Dataset的界面

設置Dataset的屬性，設置Dataset的Name，經過Linked service來獲取源數據的鏈接，經過Table name來指定表，建議把Import schema設置爲From conneciton/store。

五，建立Pipeline

建立管道，管道至關於一個容器，能夠把一個或多個Activity拖放到管道中。

若是向管道中放置Activity？用戶不須要編寫任何代碼，只須要從「Activities」列表中選擇須要的Activity，拖放到Pipeline中，經常使用的Activity 一般位於「General」子目錄中。

本文演示Copy data Activity的用法，從「Move & transform」子目錄，選擇Copy data：

Copy Activity的做用是把數據從一個dataset轉移到另外一個dataset中。

1，設置Copy Activity的Source屬性

Source 屬性表示數據源，Copy Activity 從Source dataset中獲取數據：

2，Copy Activity的Sink屬性

Sink屬性用於設置數據目標，Sink dataset用於存儲數據：

3，Copy Activity的其餘屬性

Mapping屬性選項卡用於設置Source dataset和Sink dataset之間的列映射，並能夠設置列類型的轉換。

4，調試Pipeline

點擊「Debug」對當前Pipeline進行調試

到此，一個簡單的ADF就建立完成。

 

參考文檔：

Quickstart: Create a data factory by using the Azure Data Factory UI