關於spark RDD trans action算子、lineage、寬窄依賴詳解

這篇文章想從spark當初設計時爲什麼提出RDD概念，相對於hadoop，RDD真的能給spark帶來何等優點。以前本想開篇是想整體介紹spark，以及環境搭建過程，但我的感受RDD更爲重要算法 鋪墊 在hadoop中一個獨立的計算，例如在一個迭代過程當中，除可複製的文件系統（HDFS）外沒有提供其餘存儲的概念，這就致使在網絡上進行數據複製而增長了大量的消耗，而對於兩個的MapReduce做業之間

>>阅读原文<<