Spark學習（二）——spark原理及優化

1、RDD原理 RDD讀入外部數據源進行創建 RDD經過一系列的轉換（Transformation）操作，每一次都會產生不同的RDD，供給下一個轉換操作使用 最後一個RDD經過「動作」操作進行轉換，並輸出到外部數據源  這一系列處理稱爲一個Lineage（血緣關係），即DAG拓撲排序的結果 優點：惰性調用、管道化、避免同步等待、不需要保存中間結果、每次操作變得簡單 RDD特點： 1）高效容錯性：血

>>阅读原文<<