大數據測試之ETL測試工具和麪試常見的問題及答案

轉載自： http://www.51testing.com/html/87/n-3722487.html

 

 

概述

　　商業信息和數據對於任何一個企業而言都是相當重要的。如今不少公司都投入了大量的人力、資金和時間對這些信息、數據進行分析和整理。

　　數據的分析和整理已經得到了巨大的潛在市場，所以爲了使得這個過程更爲簡單，愈來愈多的軟件供應商引入了 ETL 測試工具。

　　目前，有須要開源的ETL工具，供應商容許用戶直接從他們的官方網站免費下載，但有可能升級到新版或企業版須要訂閱付費。

　　因此咱們須要根據企業的不一樣業務結構和模型，在選擇ETL工具以前，對其進行分析。在這些開源的ETL工具的幫助下，咱們將有機會嘗試在不付須要投入鉅額資金的狀況下對咱們的數據進行分析和整理。

　　而當前幾乎全部的巨頭軟件供應商都推出了本身的BI或ETL工具。

　　 一些經常使用的ETL工具

　　· Talend Open Stduio

　　· Clover ETL

　　· Elixir

　　· Pentaho

　　· Informatica

　　· IBM - Cognos Data Manager

　　· Oracle - Data Integrator

　　· SAS - Data Integration Studio

　　· AB Inito, SAP - BUsiness Objects Data Integrator

　　一旦選擇了ETL工具，下一階段就是對該工具進行測試調研，以進一步瞭解該工具的特性。

　　這類工具備助於處理海量的數據和歷史數據，同時必須能執行ETL測試，以確保數據的準確性，所以ETL測試是很是的重要的。

　 　ETL有效的兩種測試類型

　　· 應用測試

　　· 數據測試

　 　ETL測試過程

　　雖然如今有不少的ETL工具用於數據處理，但對於實際業務而言，ETL測試是一樣的重要。

　　一個良好的ETL測試策略定義可使得測試過程變得更容易，所以在選擇ETL工具前應該遵循這個基本的測試過程。

　　ETL測試過程：

　　· 分析需求：理解業務結構極其特殊要求

　　· 驗證和測試評估：對進行過程所需的時間和專業知識進行評估

　　· 測試計劃和設計測試環境：基於輸入進行估算，計劃並制定ETL環境

　　· 測試數據的準備和執行：根據實際要求準備和執行測試數據

　　· 報告：出具實際的報告

　　其餘信息請參見《ETL測試或數據倉庫測試入門》

　 　常見面試題

　　將來隨着大數據和人工智能的進一步發展，ETL測試在國內的須要必然會從0到有的突破，下面咱們就將來國內求職ETL測試崗位可能碰到的面試題進行說明。

　　問：什麼是ETL？

　　答：ETL是Extracting-Transfroming-Loading的縮寫，指從任何外部系統提取、轉換、載入數據到目標地。這是數據集成過程的三大基本步驟。 Extracting：從源數據中提取目標數據集 Transfroming：將目標數據集進行業務邏輯轉換 Loading：以合適的格式將通過業務邏輯轉換的數據集載入到目標地

　　問：爲何ETL測試是必須的？

　　答：

　　· 爲了對從源到目的轉換過程當中的數據進行檢查

　　· 跟蹤整個ETL過程的效率和速度

　　· 熟悉ETL過程，才能更好的服務於咱們的企業實踐

　　問：ETL測試工程師的主要職責是什麼？

　　答：

　　· 深刻理解ETL工具和過程

　　· 爲ETL測試各階段設計測試場景

　　· 針對各階段的測試場景實施不一樣類型的測試

　　· 對數據質量進行檢查

　　問：在ETL過程當中，維度指什麼？

　　答：維度指彙總數據時進行的排序的組或類別

　　問：在ETL過程當中，什麼是Staging Area？

　　答：Staging Area至在ETL過程當中臨時存儲的地方，在這裏，咱們一般會進行數據清理和重複檢查等處理

　　問：請解釋下ETL Mapping Sheets（ETL映射表）

　　答：ETL映射表包含了從源中提取的行和列的全部的信息。該表能幫助咱們更好的完成整個ETL過程和ETL測試。

　　問：請列舉幾個ETL測試常見的用例並解釋說明

　　答：

　　· ETL映射表驗證：驗證映射表中的各項信息是否正確

　　· 數據檢查：驗證數據的準確性、數值、null檢查等等

　　· 正確性問題： 驗證數據的拼寫是否有錯、數據是否有錯和是否存在空數據等問題

　　問：請列舉你所知道的ETL bug類型

　　答：計算錯誤、用戶界面bug、源數據錯誤、邊界錯誤等