Spark RDD彈性表現和來源

hadoop 的MapReduce是基於數據集的,位置感知,容錯 負載均衡 基於數據集的處理:從物理存儲上加載數據,而後操做數據,而後寫入物理存儲設備; 基於數據集的操做不適應的場景: 1,不適合於大量的迭代 2,交互式查詢 重點是:基於數據流的方式 不可以複用曾經的結果或者中間計算結果; spark RDD是基於工做集的 工做流和工做集的共同特色:位置感知,自動容錯,負載均衡等。 spark的位
相關文章
相關標籤/搜索