Spark:內存管理模型及架構

上圖引入了很多術語:"Executor","Task","Cache","Worker Node"等等,當我開始學習Spark的時候,這幾乎是整個互聯網上唯一一張關於Spark架構的圖了,我個人覺得該圖缺失了一些很重要的概念或者是描述的   任何Spark的進程都是一個JVM進程,既然是一個JVM進程,那麼就可以配置它的堆大小(-Xmx和-Xms),但是進程怎麼使用堆內存和爲什麼需要它呢?下面是一
相關文章
相關標籤/搜索