mr與spark的比較

  1. mr目前不支持DAG計算模型,Tez嘗試作這樣的優化,但還不成熟。sql

  2. spark 1.2.0以前的版本,shuffle有問題,不夠穩定,1.2.0使用了netty4,據稱解決了問題,尚未進行嘗試。shell

  3. spark生態圈更具優點,spark sql、spark streaming、spark graphx、spark mllib都基於spark core,之間能夠無縫串聯。oop

  4. spark更方便,spark-shell能夠很快地進行一些原型驗算。優化

  5. hadoop更heavy也更穩定。spa

相關文章
相關標籤/搜索