30分鐘理解Spark的基本原理

01 Spark優勢特點 作爲大數據計算框架 MapReduce 的繼任者,Spark 具備以下優勢特性。 01 高效性 不同於 MapReduce 將中間計算結果放入磁盤中,Spark 採用內存存儲中間計算結果,減少了迭代運算的磁盤 IO,並通過並行計算 DAG 圖的優化,減少了不同任務之間的依賴,降低了延遲等待時間。內存計算下,Spark 比 MapReduce 快 100 倍。      
相關文章
相關標籤/搜索