Spark的重要組件和基本工做流程

Spark的幾大組件：Driver，Master，Worker， Executor ，Task 基本工做流程爲：Driver向Master節點提交咱們編寫的Spark程序進行應用的註冊，而且對集羣進行監控。 Master在接收到程序註冊後，會發送請求給Worker進行資源的調度和分配，即要求worker啓動相應的Executor，資源分配即Executor的分配。 Woker主要任務是用本身的內存

>>阅读原文<<