Spark對比MapReduce究竟提高了多少效率？

MapReduce爲大數據挖掘提供了有力的支持，但是複雜的挖掘算法往往需要多個MapReduce作業才能完成，多個作業之間存在着冗餘的磁盤讀寫開銷和多次資源申請過程，使得基於MapReduce的算法實現存在嚴重的性能問題。後起之秀Spark得益於其在迭代計算和內存計算上的優勢，可以自動調度複雜的計算任務，避免中間結果的磁盤讀寫和資源申請過程，非常適合數據挖掘算法。騰訊TDW Spark平臺基於社區

>>阅读原文<<