MapReduce多進程和spark多線程

1,首先要區分分佈式概念,分佈式指的是將一個任務切分成多塊分到多臺機器運行. 2,進程可以理解成該服務器分到的那一塊任務(MapReduce每分到一個任務會重啓一個進程,而spark的所有任務都只在一個進程中,每來一個任務啓動一個線程.) 3,線程可以理解成在進程的基礎之上又細分的更小的任務 4,在任務級別(特指Spark任務和MapReduce任務)上卻採用了不同的並行機制:Hadoop Map
相關文章
相關標籤/搜索