Spark進階(二)

Spark Streamweb 將Stream數據分紅小的時間片斷,以相似batch批處理的方式來處理這一部分數據,兼容實時數據處理的邏輯和算法和兼容批量處理。算法 Spark MLlib數據庫 SparkSQL緩存 1.MapReduce計算過程大量的磁盤落地消耗了大量的io,下降運行效率。此時shark應運而生,同期的還有Impala和Drill。架構 shark(在hive的基礎上,把HQL
相關文章
相關標籤/搜索