spark原理:概念與架構、工做機制

1、Hadoop、Spark、Storm三大框架比較java Hadoop:離線海量數據批處理,基於磁盤的python Spark:基於內存。算法 Spark特色:運行速度快,使用DAG執行引擎以支持循環數據流與內存計算,shell 二、容易使用:多種語言編程,經過spark shell進行交互式編程編程 三、通用性:提供了完整而強大的技術棧,包括sQL查詢、流式計算、機器學習和圖算法組件多線程
相關文章
相關標籤/搜索