spark學習筆記

spark學習筆記 1. hadoop四大組件 HDFS :分佈式存儲系統 MapReduce :分佈式計算系統 YARN :資源調度系統 Common :底層支持組件 2. spark RDD Resilient Distributed Dataset :彈性分佈式數據集 RDD屬性 : (1)partition :分片,數據集的基本組成單位。對於RDD來說,每個分片都會被一個計算任務處理,並決
相關文章
相關標籤/搜索