Spark初探-搭建

Spark 1.用於集羣上的計算框架,海量數據處理。 2.不使用MapReduce作爲執行引擎。使用自己的分佈式運行時。 3.與MapReduce在接口和運行時方面一致。 可與Hadoop高度集成。可運行在YARN上使用Hadoop file 格式和存儲終端上比如HDFS 特點:可以保存大量數據集在內存中供多個jobs使用。使得性能(在數量和其它更多方面)比MapReduce(數據集從磁盤上加載)
相關文章
相關標籤/搜索