【SPARK】流計算概述

流數據特徵: 數據快速持續到達、潛在大小不可預測 注重數據的整體價值,不過分關注個別數據 數據順序顛倒,或者不完整,系統無法控制將要處理的新到達的數據元素的順序 數據量大,但不十分關注存儲,一旦經過處理,要麼被丟棄,要麼歸檔存儲 數據來源多,個事複雜 批量計算和實時計算 流計算系統要求:高性能、海量式、實時性、分佈式、易用性、可靠性 傳統的數據處理流程 隱藏兩個前提: 1、存儲的數據肯定是舊的,存
相關文章
相關標籤/搜索