Spark Streaming結合redis實現state的功能

前言 在前面的文章中有介紹SparkStreaming中的updateStateByKey算子,具體可見文章:Spark Streaming中狀態算子的使用,可是使用updateStateByKey算子會存在一個問題,就是必須使用checkpoint,同時形成小文件扎堆的狀況 而在這篇文章中Spark Streaming中foreachRDD算子使用詳解所提到的寫入mysql的最佳實踐中,細看也不
相關文章
相關標籤/搜索