MapReduce與Spark On Yarn資源競爭時,爲何Spark總能搶佔更多資源?

問題簡述:我們日常開發中,有時會在yarn隊列中發現一個現象,spark任務跑得很舒服,而且佔了很多資源,MR任務拿不到資源一直卡在那裏,提交MR的同事就很氣,抱怨spark搶佔資源,實際真的是這樣麼?我們針對這個問題進行以下探究。常見現象如下,資源緊張時比較常見,看如圖中的Spark任務持有的Container普遍多於MR任務持有的Container 有的小夥伴可能沒有耐心,咱們先給下結論!!!
相關文章
相關標籤/搜索