spark內存模型概論

背景： 自從開始接觸spark之後就一直很奇怪spark on yarn到底是怎麼樣跑起來了，具體的內存佔用是怎麼分配的？如果container的內存小於–executor-memory的話，spark程序能夠跑起來嗎？記得在某次的面試中還問過別人這個欠揍的問題，?。另外最近程序也老是莫名其妙的被kill掉了，要麼就是exit 137等。 組件： 基於spark2.2.x 正文： spark on

>>阅读原文<<