Spark Core(四)基本工做原理、RDD以及其特性、WoldCount程序剖析

Spark基本的工做原理裏 分佈式的:Spark加載的數據都是以分區的形式存儲在各個節點上的,各個節點的分區組合在一塊兒就是一個RDD,因此它是分佈式的。 基於內存的:Spark在進行數據的轉換或者計算的時候都是在內存中完成的,若是內存資源不夠的話 ,那麼它就會在磁盤中進行計算。 迭代計算 RDD: RDD是Spark提供的一種核心抽象,全稱Resilient Distributed Datase
相關文章
相關標籤/搜索