Spark core 原理(一)

Spark core 原理 1.彈性分佈式數據集（RDD） 1.1概念 數據集：須要運算的數據集合 分佈式的： Spark加載的數據都是以分區的形式存儲在各個節點上的，各個節點的分區組合在一塊兒就是一個RDD，因此它是分佈式的。 基於內存的（彈性的）： Spark在進行數據的轉換或者計算的時候都是在內存中完成的，若是內存資源不夠的話 ，那麼它就會在磁盤中進行計算。java 1.2程序解析 程序代碼

>>阅读原文<<