SparkRDD從6大方面詳解

轉自:https://blog.csdn.net/erfucun/article/details/51972225 一:RDD粗粒度與細粒度 粗粒度: 在程序啓動前就已經分配好資源(特別適用於資源特別多而且要進行資源複用)  細粒度:計算需要資源是才分配資源,細粒度沒有資源浪費問題。 二: RDD 的解密:  1,分佈式(擅長迭代式是spark的精髓之所在) 基於內存(有些時候也會基於硬盤) 特別
相關文章
相關標籤/搜索