以企業級實時數據平臺爲例，瞭解何爲敏捷大數據

敏捷大數據，即在敏捷理念原則指導下，構建出一系列通用平臺工具，和一整套大數據應用全生命週期方法學，以支撐更輕量、更靈活、更低門檻的大數據實踐。本文從理論層面總體解釋咱們所理解的「敏捷大數據」。

1、敏捷大數據的理念原則

1.1 組件化／平臺化／產品化／本地化

組件化／平臺化：經過對大數據處理鏈路進行模塊化抽象，造成多個功能高度內聚的組件化平臺；組件化平臺既可獨立與已有平臺組件整合使用， 也可組合起來以解決更多不一樣鏈路上的問題。

產品化／本地化：經過組合不一樣的組件化平臺，加上抽象萃取過的業務邏輯模型和規則算法模型，能夠很容易構建特定業務領域的產品化解決方案；解決方案產品實際落地時可進行本地化處理，主要包括數據模型適配／規則集引入／算法模型參數調整等。

1.2 統一化／開放化／管控化

統一化旨在簡化系統複雜度，提升管控能力；開放化旨在加強適應度，提升靈活性；二者相輔相成，須要找到一個合理的平衡點，且不失總體的管控性。

1.3 標準化／接口化／配置化／可視化

標準化／接口化：在大數據處理鏈路中，造成一系列標準化協議，包括數據命名空間協議／元數據和數據類型規範協議／數據訪問接口協議／查詢語言協議／數據傳輸協議／數據安全協議等；以服務接口和隊列接口方式提供系統間交互。

配置化／可視化：以配置化和可視化方式提供人機交互。

1.4 自助化／自動化／智能化

現代數據應用要求能力輸出，讓領域用戶在受管控的環境中，能夠更加自助化的使用平臺和數據實現業務需求；自助化的常規操做能夠以自動化方式更好支持；自助化的洞察分析能夠以智能化方式更好支持。

1.5 引擎驅動化（事件引擎／動做引擎／規則引擎）

經過引入高級引擎驅動能力，使得敏捷大數據應用能夠更加迅捷、靈動、主動的觸達外部受衆，這時大數據應用自己已經成爲強大的業務驅動引擎。

2、能夠抽象出的通用平臺工具

以企業級實時數據平臺爲例，咱們在敏捷大數據理念原則的指導下，對實時數據平臺總體端到端進行了模塊化切分，並造成一系列標準化協議，最後以統一開放的原則肯定了要開發哪些通用平臺工具及其邊界和接口規範。

上圖是實時數據平臺的概念模塊架構圖，在後續文章中咱們會以實時數據平臺爲切入點，詳細闡述衍生出的通用平臺工具的抽象概念和架構設計。

3、貫穿大數據應用全生命週期

3.1 需求分析驗證階段

在需求分析階段，咱們須要有能力能夠快速開發數據應用原型POC，而且在驗證有效後可以快速迭代以儘早覆蓋全部需求點。

敏捷大數據的平臺化／配置化／可視化等能力可以支持業務開發人員經過配置和可視化方式快速地進行需求迭代驗證。業務開發人員只須要關注業務問題自己，無須過多關注大數據技術問題。

3.2 架構設計選型階段

在實際存儲和計算引擎選型過程當中，要考慮不少不少因素，除了知足SLA和數據規模等要求，還不得不受到開源技術選型的種種限制和問題。

敏捷大數據的標準化／接口化／統一化／開放化等能力提供了一套架構選型的最佳實踐，既極大的減小了系統設計的複雜性，屏蔽了開源技術不兼容的問題，也可以支持選擇不一樣存儲和計算引擎的靈活性。

3.3 實施測試調優階段

大數據定製化開發的實施測試和調優每每是件很耗時耗力的工做，而且隨着處理鏈路的變長和技術選型的多樣性，更加增長了測試調優的複雜度。

敏捷大數據的平臺化／接口化／配置化／可視化／統一化／管控化等能力可讓實施測試調優的過程變成只需進行可視化配置／實驗／驗證的迭代過程，數據處理鏈路過長問題被配置化／可視化屏蔽，技術選型過多問題被統一化／管控化屏蔽。

3.4 上線部署遷移階段

大數據定製化開發的上線部署遷移每每步驟繁雜，容易出錯，即便能夠以腳本方式支持，也可能因爲不統一和不直觀帶來潛在問題。 敏捷大數據的平臺化／配置化／可視化／統一化／管控化／自助化等能力可讓上線部署遷移更加簡單，這些都得益於平臺的統一化能力，而且這些能力以自助的方式開放給用戶。

3.5 管理運維監控階段

管理運維監控在企業中每每是統一歸集管控的，敏捷大數據的平臺化／管控化／自助化等也提供了相應的能力，此外，還能夠提供自動化／智能化等能力進一步下降運維工做量；同時也能夠經過接口化能力與環境已有監控運維繫統集成。

4、踐行敏捷大數據實踐

上圖即爲咱們所總結的敏捷大數據各個組件的關係：

敏捷大數據理念＋敏捷大數據平臺棧＋敏捷大數據方法學 → 敏捷大數據實踐

本文給出了「敏捷大數據」的定義，以及敏捷大數據理念，而且簡要描述了基於這套理念之上如何構建平臺棧和如何實踐方法學。在後續的文章中，咱們會圍繞具體的敏捷大數據實踐經驗詳細展開咱們的敏捷大數據之旅。

做者：盧山巍

來源：宜信技術學院