在整個數據分析流程中,數據處理的時間每每要佔據70%以上!這個數字有沒有讓你震驚呢?爲了提升分析效率和質量,借用數據倉庫進行數據分析是一個很好的選擇,詳細的工做方法本文都有所介紹。程序員
首先,咱們來了解一下數據倉庫吧!數據倉庫是一個面向主題的、集成的、相對穩定的、反應歷史變化的數據集合。那數據分析又是幹什麼的呢?筆者憑藉我的的經驗認爲,基於業務需求,結合歷史數據,利用相關統計學方法和某些數據挖掘工具對數據進行整合、分析,並造成一套最終解決某個業務場景的方案就是數據分析的過程。面試
數據分析大體包括如下流程:業務理解 – 數據理解 – 數據準備 – 建模 – 評估 – 部署架構
因爲數據分析對數據質量、格式的要求自然就比較高,對數據的理解也必須很是深入,使得數據契合業務需求也要必定的過程,這樣,根據咱們的經驗,在整個數據分析流程中,用於數據處理的時間每每要佔據70%以上。所以,如何高效、快速地進行數據理解和處理,每每決定了數據分析項目的進度和質量。而數據倉庫具備集成、穩定、高質量等特色,基於數據倉庫爲數據分析提供數據,每每可以更加保證數據質量和數據完整性。利用數據倉庫進行數據分析無疑可以給咱們的工做帶來很大便利,那麼,究竟要如何操做呢?咱們首先須要瞭解數據倉庫的優點,數據倉庫至少能夠從以下三個方面提高數據分析效率:app
1. 數據理解分佈式
數據倉庫是面向主題的,因此其自身與業務結合就相對緊密和完善,更方便數據分析師基於數據理解業務。下圖是Teradata關於金融行業的成熟模型:工具
Teradata關於金融行業的成熟模型學習
咱們能夠看到,整個數據倉庫被分爲十大主題,而金融行業全部的數據、業務都會被這十大主題涵蓋。當咱們須要找某個信用卡帳戶信息時,咱們就去協議(AGREEMENT)主題,須要某次存款交易信息時就去探尋事件(EVENT)主題,須要某個理財產品相關信息就挖掘產品(PRODUCT)主題,如此類推,咱們就會發現十大主題將整個金融行業的數據劃分得很是清晰,咱們須要作的就是拿到業務需求,理解數據倉庫的模型,數據理解也就水到渠成了。大數據
2. 數據質量設計
數據分析要求數據是乾淨、完整的,而數據倉庫最核心的一項工做就是ETL過程,流程以下:blog
ETL流程
而數據倉庫已經對源系統的數據進行了業務契合的轉換,以及髒數據的清洗,這就爲數據分析的數據質量作了較好的保障。
3. 數據跨系統關聯
上圖是數據倉庫的一個簡單架構,能夠看到,各業務源系統的數據通過ETL過程後流入數據倉庫,當不一樣系統數據整合到數據倉庫以後,至少解決了數據分析中的兩個問題:
第一,跨系統數據收集問題,同一個客戶的儲蓄交易和理財交易咱們在同一張事件表就能夠找到;
第二,跨系統關聯問題,同一個客戶可能在不一樣系統中記錄了不一樣的客戶號,甚至存在不一樣的帳號,進行數據整合時,老是須要找到共同的「紐帶」來關聯來自不一樣系統的信息,而數據倉庫在ETL過程當中就會整合相關客戶信息,完美解決跨系統關聯問題。
可見,數據倉庫是整合的、面向主題的、數據質量高的、跨系統的優質數據源,那麼,咱們該如何充分利用這些優點呢?筆者總結了以下經驗:
1. 研究數據倉庫模型:數倉的精髓就是面向主題的模型,能理解各大主題域範疇,熟悉不一樣主題間的關係,基本就掌握了數倉的架構;
2. 學習數據倉庫設計文檔:設計文檔是業務與數據,數倉與源系統的橋樑,熟悉表間mapping映射,就能快速定位需求變量的來源和處理邏輯,全面瞭解相關業務;
3. 熟悉數據字典表:數據字典是數據倉庫物理存儲的信息庫,能夠經過數據字典瞭解庫、表、字段不一樣層級的關係、存儲、類型等信息;
4. 研究ETL腳本:學習幾個數據倉庫ETL加工腳本,能更細緻的探索數據加工處理邏輯,更清楚的理解數倉加工模式,快速掌握數據加工技巧;
5. 觀察明細數據:想要真正瞭解數據,就必須對具體數據進行不一樣維度和層次的觀察;好比事件表,從交易類型、時間、渠道、業務種類等多個維度撈幾條數據,觀察某個相同條件下不一樣維度的交易變化,瞭解銀行交易的全景信息,幫助理解業務,熟悉數據。
事實上,除此以外,數據處理人員還應該從中學習到數據倉庫的思想:面向主題,逐層加工。面向主題是指讓雜亂的數據結合業務劃分,更容易着手處理本來雜亂的數據,數據處理人員只需知道哪些數據屬於哪一個主題,而後基於主題再進一步處理;逐層加工則是指讓細粒度的數據走向寬表的過程清晰,有層次,數據處理過程當中清楚每一步的產出是什麼。其實,每個數據分析師或者數據處理師都會有本身的工做習慣和經驗,以上是筆者經歷兩年多數據倉庫開發、三年數據倉庫和數據分析兼職者的經驗總結的一些心得,但願對你們有所幫助。
結語
感謝您的觀看,若有不足之處,歡迎批評指正。
若是有對大數據感興趣的小夥伴或者是從事大數據的老司機能夠加羣:
658558542 (☛點擊便可加入羣聊)
裏面整理了一大份學習資料,全都是些乾貨,包括大數據技術入門,海量數據高級分析語言,海量數據存儲分佈式存儲,以及海量數據分析分佈式計算等部分,送給每一位大數據小夥伴,這裏不止是小白彙集地,還有大牛在線解答!歡迎初學和進階中的小夥伴一塊兒進羣學習交流,共同進步!
最後祝福全部遇到瓶頸的大數據程序員們突破本身,祝福你們在日後的工做與面試中一切順利。