Spark整體架構

一個Spark應用包括5個重要部分：驅動程序、集羣管理員、worker、執行者、任務緩存 一、worker多線程 worker爲Spark應用提供CPU、內存和存儲資源。worker把spark應用當成分佈式進程在集羣節點上執行併發 二、集羣管理員分佈式 Spark使用集羣管理員來得到執行做業所須要的集羣資源。顧名思義，集羣管理員管理集羣中worker節點的計算資源。塔能跨應用從底層調度集羣資源。

>>阅读原文<<