使用Redis保存SparkStreaming的狀態數據/中間過程數據

鳴謝：若是您以爲本文對您有幫助，請點贊和收藏，Thanks。java SparkStreaming的狀態管理，官方推出的有1.6版本以前的 updateStateByKey 和1.6版本以後的 mapWithState。 可是都有一個共同的弊端，就是會生成大量的小文件，須要手動合併。 故此，使用redis來存儲state是一個很好的選擇。web WordCount案例 object TestSta

>>阅读原文<<