Spark基本架構及運行原理

Spark軟件棧 Spark Core: 包含Spark的基本功能，包含任務調度，內存管理，容錯機制等，內部定義了RDDs(彈性分佈式數據集)，提供了很多APIs來創建和操作這些RDDs。爲其他組件提供底層的服務。 Spark SQL: Spark處理結構化數據的庫，就像Hive SQL,Mysql一樣，企業中用來做報表統計。 Spark Streaming: 實時數據流處理組件，類似Storm。

>>阅读原文<<