Pyspark架構原理

原文地址 ： https://mp.weixin.qq.com/s/qgfcqKMyTOC-AlQYGmk6VQ Spark運行時架構 首先我們先回顧下Spark的基本運行時架構，如下圖所示，其中橙色部分表示爲JVM，Spark應用程序運行時主要分爲Driver和Executor，Driver負載總體調度及UI展示，Executor負責Task運行，Spark可以部署在多種資源管理系統中，例如Ya

>>阅读原文<<