爲什麼Spark官網上稱其性能比Hadoop快100倍

背景 Spark的特點 1.減少磁盤IO 隨着實時業務的流行，Hadoop作爲離線的高吞吐、低響應框架已不能滿足這一需求。Hadoop MapReduce 的map端的中間結果會落地落地到磁盤，reduce端又需要從磁盤上讀取中間結果，勢必造成磁盤IO瓶頸。Spark在這一個環境則不一樣，map端計算的中間結果存儲到內存，reduce端在拉取中間結果的時候避免了大量的磁盤IO。Hadoop YAR

>>阅读原文<<