Spark爲啥比hadoop速度快?

1.統一的RDD抽象和操做,基於該抽象一個棧就能夠輕鬆的處理實時流計算,SQL交互式查詢,機器學習和圖計算等。 基於統一的技術堆棧,使得Spark稱爲大數據通用計算平臺。 web 2.基於內存的迭代式計算 回顧下hadoop中經典處理過程: MapReduce在每次執行時都要從磁盤讀取數據,計算完畢後都要把數據存放到磁盤上。 好比:機器學習的時候,會不斷的迭代數據 ,這樣的話,會消耗大量的IO 而
相關文章
相關標籤/搜索