Spark2.x學習筆記:4、Spark程序架構與運行模式

4、 Spark程序架構與運行模式 4.1 Spark程序最簡架構 所有的Spark程序運行時,主要由兩大類組件Driver和Excutor構成。 每個Spark程序運行時都有一個Driver,Driver是進程包含了運行所需要的CPU和內存等資源,Driver是我們應用程序main函數所在進程。比如當我們運行一個spark-shell時,就創建了一個driver 程序 。 Executor可以有
相關文章
相關標籤/搜索