Spark基本架構及運行原理

Spark軟件棧 Spark Core: 包含Spark的基本功能，包含任務調度，內存管理，容錯機制等，內部定義了RDDs(彈性分佈式數據集)，提供了不少APIs來建立和操做這些RDDs。爲其餘組件提供底層的服務。web Spark SQL: Spark處理結構化數據的庫，就像Hive SQL,Mysql同樣，企業中用來作報表統計。算法 Spark Streaming: 實時數據流處理組件，相似S

>>阅读原文<<