Apache Spark 流行的原因

Spark流行的原因 優秀的數據模型和計算抽象 Spark 產生之前,已經有MapReduce這類非常成熟的計算系統存在了,並提供了高層次的API(map/reduce),把計算運行在集羣中並提供容錯能力,從而實現分佈式計算。 雖然MapReduce提供了對數據訪問和計算的抽象,但是對於數據的複用就是簡單的將中間數據寫到一個穩定的文件系統中(例如HDFS),所以會產生數據的複製備份,磁盤的I/O以
相關文章
相關標籤/搜索