深度分析數據庫，從人類「登月」談起

數據庫做爲一種數據管理的技術，起源於上世紀60年代，戰爭中對於情報管理的須要，而出現。可是促使數據庫系統，在短短10年間快速發展，取得突破性進展的，倒是航天事業。

上面這張圖，是土星五號的總體結構示意圖。

來自百科中關於土星五號的介紹:「土星5號還是人類歷史上使用過的自重最大的運載火箭，高達110.6米，起飛重量3038.5噸；總推力達3408噸，月球軌道運載能力45噸，近地軌道運載能力118噸。它曾9次將宇航員送上月球。」

土星五號做爲一個超級工程，有約200多萬個零部件，而爲了精確追蹤每一顆零件，從生產製造到安裝成型的整個過程，複雜程度之高，以致於NASA須要管理一個數據量龐大的巨型清單，來確保項目的正常運做，如期完成。

爲此，IBM、北美航空、卡特彼勒聯合，爲 NASA 開發了一套數據管理系統 IMS。因而，人類一不留神，創造出了當今信息化技術中最重要的一部分——「數據庫系統」。正是依靠這項技術的助力，才最終將「登月」這項人類壯舉從圖紙中，變成了現實。

在20世紀70年代，人類不只進入了星際時代，同時也進入了名爲數據化的時代。

以後的50年裏，隨着互聯網的興起，在互聯網的加持下，全球各國的企業都建設了大量的信息化系統，天天都會將真實的世界轉化爲數據，永遠的保存在數據庫中，這些日積月累下的巨量數據，就像是過去世界的影子，讓企業逐漸意識到，本身的業務系統天天生產的數據，變成了一座取之不盡的金礦。

可是如何充分利用大數據這座金礦，使之成爲黃金？隨着這個問題的出現，理所固然的，就會涉及如何得到數據、如何加工數據、如何作數據分析等等問題。咱們掰開揉碎的來說，首先談談如何得到數據?

當前市面上種類繁多的數據庫，關係型數據庫、非關係型數據庫、數據倉庫等等，着實使人眼花繚亂。甚至企業內部，不一樣部門的數據庫類型都是不同的，這就很容易形成數據互通存在某種壁壘。

想要隨時高效的獲取數據，第一關即是對於這些數據源的對接和數據獲取能力的考驗。須要關注對各類不一樣數據源的實際對接能力，能在很短的時間內和各類各樣的數據源進行鏈接，而且能夠隨時獲取其中的數據。

第二關，拿到了數據，可是拿到的數據中存在好比，數據缺失或者用0、一、二、3這種字符，代替了實際意義「異常的」、 「不乾淨」的數據；或者例如拿了訂單數據，可是卻沒有關於哪一個客戶下的訂單，這種「缺乏相關數據字段」的問題，那就須要對數據進行「清洗」和「補充」。可是通常這些操做都是由技術人員經過sql或者ETL工具完成的，怎麼讓不懂這些技術的同事也可以進行這部分工做呢？利用可視化技術，經過UI封裝複雜的代碼環節，最大程度的減小不懂技術所帶來的負擔。這一樣也能夠間接的減小IT部門在開發報表方面工做。

第三關，數據準備好了，如何作數據分析呢？最廣泛的數據分析方法，就是對比，較上年利潤率提高了多少，具體的利潤結構如何，利潤結構中的某一部分增長了仍是減小了等等。

通常狀況下，咱們會拉張報表，看看結果如何。但是受制於製做報表的工具，很難作到深度縱觀全局的聯動分析效果。好比，我想看企業總體收入結構，和其中主營業務相關的數據，僅僅是這個場景下，咱們就須要看至少兩張不一樣的報表，甚至還要去不一樣系統中去翻找。

但若作了數據下鑽這種功能後，就能夠直接從總體收入結構中層層下鑽，下鑽到不一樣業務分類中。再配合數據可視化，能夠最大化的提高數據的利用效率和利用率。

例以下方的兩張圖，從全國下鑽到華中大區，看到每一個省份的具體數據，固然，若是數據粒度足夠，仍能夠繼續下鑽。

第四關，作了基本的數據分析後，企業常規的數據分析需求已被解決，能夠隨時隨地查看到企業常規的一些報表和報告。而某些特殊的數據分析需求，好比須要利用海量的數據做爲深度分析的基礎，訓練某種能夠用於預測的深度分析模型。在實現過程當中，咱們發現，深度學習所使用的數據，就是來源於企業本身的業務系統，一樣須要作數據準備的工做，在模型計算完成後，預測結果一樣須要和實際結果進行對比。那麼在同一個數據分析系統中作深度分析，顯然是可行的，也是必要的。

因此可以在一套系統中同時知足自服務數據準備、探索式分析、深度分析和企業級管控的工具——BI（商業智能），便應運而生。而YonghongBI正是爲了解決如何提取大數據的價值這個核心問題，而推出的一站式的大數據分析平臺。

那麼什麼是YonghongBI一站式大數據分析平臺？

永洪科技是這麼定義的：

它必須可以提供了一個完整的用戶體驗——把大數據分析所需的產品功能所有融入一個平臺下，進行統一管控；

它支持所有云端OS，支持公有云、私有云和混合雲等多種架構；

它可以讓用戶輕鬆、快速地獲得動態報表和可視化展示；

它不只能被IT人員掌握，也能讓業務人員輕鬆操做。

目前，永洪科技一站式大數據分析平臺（注：如下行業案例中縮寫爲Yonghong Z-Suite）核心功能包括：自服務數據準備、探索式分析、深度分析和企業級管控，提供三款核心產品：敏捷BI、深度分析和MPP數據集市。

產品特色包括：簡單交付、輕鬆上手、移動跨屏、大數據處理能力。

當前，有哪些人在使用一站式大數據分析平臺？

從用戶分類狀況來看，主要有四類用戶羣：

第一類用戶是報表的開發者，需求是快速開發；

第二類是高級用戶，大部分是數據分析專員或者業務專家。需求是深刻洞察分析；

第三類是普通用戶，部分是經理，團隊管理人員，需求是輕鬆上手及真正接觸數據；

第四類用戶是高層管理人員，須要報表一目瞭然，便於操做，需求是隨時隨地查看數據，提供決策支持。

不少人有疑問，一站式大數據分析平臺的深度用戶是否是隻有大數據量的企業？其實否則。永洪科技在實際項目中發現，一站式大數據分析平臺一方面適用於政府、金融、電信、互聯網公司、醫療、零售快消、大型製造業/傳統企業等這類數據量比較大的客戶，也一樣可以更好地適配於數據量比較小的中小企業，大型企業中有獨立信息系統的業務部門。

因此，一站式大數據分析平臺的深度用戶沒有數據量大小之分，它自己的自然特性決定了其具備更強的適用性，可以適用於各行業、各類類型的客戶羣體。