Spark:運行原理 & 圖解

Spark應用程序以進程集合爲單位在分佈式集羣上運行,通過driver程序的main方法創建的SparkContext對象與集羣交互。 1、Spark通過SparkContext向Cluster manager(資源管理器)申請所需執行的資源(cpu、內存等) 2、Cluster manager分配應用程序執行需要的資源,在Worker節點上創建Executor 3、SparkContext 將程
相關文章
相關標籤/搜索