開源組件系列(13):交互式計算引擎

概述 產生背景   在開源大數據領域,交互式引擎並不是從一開始就出現的。起初,大數據領域數據處理引擎以MapReduce爲主,但MapReduce引擎採用了批處理的理念,數據處理能力低效: IO密集型:Map階段中間結果寫磁盤,Reduce階段寫HDFS,多個MapReduce作業之間通過共享存儲系統HDFS交換數據。 任務調度和啓動開銷大,大量任務需要分佈式調度到各個節點上,且每個任務需啓動一個
相關文章
相關標籤/搜索