前沿技術Spark,Flink,Beam

MapReduce的缺點: 1.開發   wordcount程序複雜   只支持map和reduce方法   執行效率低下   以作業連方式串起來執行   打包 2.運行速度:    map輸出寫到磁盤,reduce寫到hdfs,磁盤I/O,網絡I/O,序列化等壓力大    map任務和reduce任務以進程方式運行   一定要求排序(其實有時候不需要)   不適合迭代處理,交互式(數據挖掘)處理
相關文章
相關標籤/搜索