什麼是大數據系統架

大數據的應用開發過於偏向底層，具備學習難度大，涉及技術面廣的問題，這制約了大數據的普及。如今須要一種技術，把大數據開發中一些通用的，重複使用的基礎代碼、算法封裝爲類庫，下降大數據的學習門檻，下降開發難度，提升大數據項目的開發效率。

大數據在工做中的應用有三種：與業務相關，好比用戶畫像、風險控制等；

與決策相關，數據科學的領域，瞭解統計學、算法，這是數據科學家的範疇；與工程相關，如何實施、如何實現、解決什麼業務問題，這是數據工程師的工做。

數據源的特色決定數據採集與數據存儲的技術選型，我根據數據源的特色將其分爲四大類：
第一類：歷來源來看分爲內部數據和外部數據；

第二類：從結構來看分爲非結構化數據和結構化數據；

第三類：從可變性來看分爲不可變可添加數據和可修改刪除數據；

第四類，從規模來看分爲大量數據和小量數據。

大數據平臺第一個要素就是數據源，咱們要處理的數據源每每是在業務系統上，數據分析的時候可能不會直接對業務的數據源進行處理，而是先通過數據採集、數據存儲，以後纔是數據分析和數據處理。

從整個大的生態圈能夠看出，要完成數據工程須要大量的資源；數據量很大須要集羣；要控制和協調這些資源須要監控和協調分派；面對大規模的數據怎樣部署更方便更容易；還牽扯到日誌、安全、還可能要和雲端結合起來，這些都是大數據圈的邊緣，一樣都很重要。

大快大數據平臺（DKH）,是大快公司爲了打通大數據生態系統與傳統非大數據公司之間的通道而設計的一站式搜索引擎級，大數據通用計算平臺。傳統公司經過使用DKH，能夠輕鬆的跨越大數據的技術鴻溝，實現搜索引擎級的大數據平臺性能。

DKH，有效的集成了整個HADOOP生態系統的所有組件，並深度優化，從新編譯爲一個完整的更高性能的大數據通用計算平臺，實現了各部件的有機協調。所以DKH相比開源的大數據平臺，在計算性能上有了高達5倍（最大）的性能提高。

DKH，更是經過大快獨有的中間件技術，將複雜的大數據集羣配置簡化至三種節點（主節點、管理節點、計算節點），極大的簡化了集羣的管理運維，加強了集羣的高可用性、高可維護性、高穩定性。

DKH，雖然進行了高度的整合，可是仍然保持了開源系統的所有優勢，並與開源系統100%兼容，基於開源平臺開發的大數據應用，無需通過任何改動，便可在DKH上高效運行，而且性能會有最高5倍的提高。

DKH，更是集成了大快的大數據一體化開發框架（FreeRCH）, FreeRCH開發框架提供了大數據、搜索、天然語言處理和人工智能開發中經常使用的二十多個類，經過總計一百餘種方法，實現了10倍以上的開發效率的提高。

DKH的SQL版本，還提供了分佈式MySQL的集成，傳統的信息系統，可無縫的實現面向大數據和分佈式的跨越。

DKH標準平臺技術構架圖