慕課筆記-數據科學導論-第五章大數據計算框架-計算框架/批處理/流式處理/交互式/MapReduce/網站log日誌/MR1v/YARN/Spark RDD/

大數據計算框架 計算框架 處理框架在某種意義上可稱爲處理引擎，處理框架按照所處理的數據狀態分爲批處理框架、流式處理框架及交互式處理框架。 批處理框架 一種計算大規模數據集的方法 批處理模式使用的數據集通常有如下特徵 有界:數據集是數據的有界集合 持久:數據通常存儲在某種類型的持久存儲系統中,如HDFS或數據庫 大量:通常爲海量的數據集 批處理需要訪問全體記錄才能完成計算工作,因此較費時 流式處理框

>>阅读原文<<