Spark-RDD-04 checkpoint容錯機制

咱們瞭解到合理地將RDD持久化/緩存，不只直接避免了RDD的重複計算致使的資原浪費和佔用，還提高了RDD的容錯性，緩存 並且間接提高了分析任務的完成效率，那麼爲何又會須要基於checkpoint的容錯機制，在什麼狀況下須要設置checkpoint呢?函數 對RDD進行ceckpoin操做，會將RDD直接存儲到磁盤上，而不是內存，從而實現真正的數據持久化。內存 checkpoint實際上對RDD l

>>阅读原文<<