Apache Spark RDD 論文(中文翻譯)

概要 爲了能解決程序員能在大規模的集羣中以一種容錯的方式進行內存計算這個問題,咱們提出了 RDDs 的概念。當前的不少框架對迭代式算法場景與交互性數據挖掘場景的處理性能很是差,這個是 RDDs 的提出的動機。若是能將數據保存在內存中,將會使的上面兩種場景的性能提升一個數量級。爲了能達到高效的容錯,RDDs 提供了一種受限制的共享內存的方式,這種方式是基於粗粒度的轉換共享狀態而非細粒度的更新共享狀態
相關文章
相關標籤/搜索