spark使用總結

彈性分佈式數據集(RDD)是分佈式處理的一個數據集的抽象， RDD是隻讀的，在RDD之上的操做都是並行的 。實際上，RDD只是一個邏輯實體，其中存儲了分佈式數據集的一些信息，並無包含所謂的「物理數據」，「物理數據」只有在RDD被計算並持久化以後才存在於內存或磁盤中。RDD的重要內部屬性有：html 計算RDD分區的函數。 所依賴的直接父RDD列表。 RDD分區及其地址列表。 RDD分區器。 RDD

>>阅读原文<<