大數據處理引擎簡介

三種大數據處理引擎 批量大數據處理 數據特點：靜態數據 場景：離散計算，対實時性要求不高 代表技術：MapReduce MapReduce 一次計算可以分爲映射和規約兩個階段 拿到數據進行預處理 先被分成各個數據塊 Map階段：讀取數據，生成鍵（詞）值（對應詞出現的次數）對形式的中間結果，存儲到本地內存，並定期寫入磁盤並進行分區交互給Reduce階段。 Reduce階段：拿到Map階段的數據後進行

>>阅读原文<<