spark的容錯，檢查點，共享變量的概念濃縮總結

1、容錯java Spark選擇記錄更新的方式。可是，若是更新粒度太細太多，那麼記錄更新成本也不低。所以，RDD只支持粗粒度轉換，即只記錄單個塊上執行的單個操做，而後將建立RDD的一系列變換序列（每一個RDD都包含了他是如何由其餘RDD變換過來的以及如何重建某一塊數據的信息。所以RDD的容錯機制又稱「血統(Lineage)」容錯）記錄下來，以便恢復丟失的分區。緩存 2、Checkpointapp

>>阅读原文<<