【SPARK】流計算概述

流數據特徵: 數據快速持續到達、潛在大小不可預測 注重數據的總體價值,不過度關注個別數據 數據順序顛倒,或者不完整,系統沒法控制將要處理的新到達的數據元素的順序 數據量大,但不十分關注存儲,一旦通過處理,要麼被丟棄,要麼歸檔存儲 數據來源多,個事複雜 批量計算和實時計算 流計算系統要求:高性能、海量式、實時性、分佈式、易用性、可靠性 傳統的數據處理流程分佈式 隱藏兩個前提:性能 一、存儲的數據確定
相關文章
相關標籤/搜索