簡析5G時代的MART流處理

在當今數字驅動的世界中，實時處理數據流是業務成功的必要條件。

5G網絡的引入增長了對數據量和速要求，而這些要求給傳統的數據架構帶來了壓力。對吸取數據流量的需求空前增加，同時還要經過跨多個數據流，作出智能且動態的決策來推進執行。

當前的數據流處理體系一般足以結構處理流水線，但它們不能知足應用關鍵型任務程序的需求，而低延遲和多步響應式決策突出了這些任務型的應用程序需求。

此外，與傳統的少數中央樞紐數據中心相反。隨着預計每平方千米100萬的互聯事物密度的增長，以及規定的單位數毫秒的低延遲，數據和處理將經過幾個邊緣數據中心分散化。

在不完整的信息匯合處，傳統的和現代的處理流數據的選擇都將失敗。爲了使交互式低延遲應用程序和流水線管道共存，它們必須使用相同的數據來驅動跨功能的一致性。

信息不完整的前四部分是：

1.微服務架構要求將狀態和邏輯分離

缺乏的是對業務類型的邏輯以及應該存在的位置的理解。儘管應用程序流控制邏輯能夠保留在應用程序層中，從而使計算容器真正變爲無狀態，但數據業務邏輯必須與存在的數據一塊兒驅動。

2.網絡帶寬使用效率

當您將狀態儲存在NoSQL數據存儲區中，而且實例容器每次交互都必須移動10至25 KB的數據有效負載時（例如，從存儲區讀取對象，對它進行修改並將它發送回數據存儲），應用程序很快就會開始消耗大量的網絡帶寬。在虛擬化或容器化的世界中，網絡資源就像黃金。人們不該該爲了瑣碎的數據移動而浪費它。

3.流處理的基本前提

今天的流處理基於時間窗口化概念：事件時間窗口或處理時間窗口之一。這並不表明真正現況。組織須要持續處理事件，不管事件是單獨到達仍是上下文到達。這種方法將避免諸如錯過事件之類的問題，由於它們只會遲到了，而沒必要膨脹數據庫來等待遲到的已知的最後一個事件。

4.交叉輪詢多個數據流，以構建驅動決策的復瑣事件

事件驅動的體系結構是消息流，每一個消息流都與事件相關聯，以驅動某些操做。架構面臨到的挑戰，是從多個數據流中構建複雜的事件，或基於複雜的業務邏輯將單個數據流驅動更改到多個狀態。

• 智能流處理架構可操做：
• 將傳入事件數據吸取到狀態機中
• 從多個攝取流構建上下文實體狀態
• 應用業務規則的規則集來驅動決策
• 經過迭代地融合從機器學習計劃中，得到的新知識來加強和豐富這些規則
• 讓決策傳播以推進執行

• 一旦在實時處理中不須要上下文完成/處理的數據，則將其遷移到檔案存儲

  智能流處理體系結構是由一個用於攝取，處理和存儲的統一環境組成。

這種具備內置智能功能的集成方法能夠在數據所在的位置進行分析。它利用快速的內存中關係數據處理平臺（IMRDPP）不只使流「變得智能」，並且還提供了線性擴展，可預測的低延遲，嚴格的ACID以及可在如下位置輕鬆部署的低得多的硬件空間邊緣。

藉助聚合，過濾，採樣和關聯等內置分析功能，以及存儲過程/嵌入式受監督和無監督機器學習，可在一個集成平臺上得到面向實時決策的流處理的全部要素。

若是您對VoltDB的工業物聯網大數據低延遲方案、全生命週期的實時數據平臺管理等感興趣，歡迎私聊，與更多小夥伴一塊兒探討。