sparkstreaming reduceByKeyAndWindow 高效的同時帶來的問題

reduceByKeyAndWindow 有一個重載reduceByKeyAndWindow(func,invFunc,windowLength,slideInterval,[numTasks])，可以實現高效計算。它的原理是維護一箇中間狀態（結果），然後對增量（減量）進行計算。但同時也隨之帶來兩個問題 1、必須維護中間狀態，所以使用這個方法時，必須同時使用checkpiont。 2、因爲有中間結

>>阅读原文<<