Spark Streaming vs. Structured Streaming

簡介

Spark Streaming

Spark Streaming是spark最初的流處理框架，使用了微批的形式來進行流處理。

提供了基於RDDs的Dstream API，每一個時間間隔內的數據爲一個RDD，源源不斷對RDD進行處理來實現流計算

Structured Streaming

Spark 2.X出來的流框架，採用了無界表的概念，流數據至關於往一個表上不斷追加行。

基於Spark SQL引擎實現，可使用大多數Spark SQL的function

區別

1. 流模型

Spark Streaming

Spark Streaming採用微批的處理方法。每個批處理間隔的爲一個批，也就是一個RDD，咱們對RDD進行操做就能夠源源不斷的接收、處理數據。

spark streaming微批終是批

Structured Streaming

Structured Streaming is to treat a live data stream as a table that is being continuously appended

Structured Streaming將實時數據當作被連續追加的表。流上的每一條數據都相似於將一行新數據添加到表中。

以上圖爲例，每隔1秒從輸入源獲取數據到Input Table，並觸發Query計算，而後將結果寫入Result Table，以後根據指定的Output模式進行寫出。

上面的1秒是指定的觸發間隔（trigger interval），若是不指定的話，先前數據的處理完成後，系統將當即檢查是否有新數據。

須要注意的是，Spark Streaming自己設計就是一批批的以批處理間隔劃分RDD；而Structured Streaming中並無提出批的概念，Structured Streaming按照每一個Trigger Interval接收數據到Input Table，將數據處理後再追加到無邊界的Result Table中，想要何種方式輸出結果取決於指定的模式。因此，雖然說Structured Streaming也有相似於Spark Streaming的Interval，其本質概念是不同的。Structured Streaming更像流模式。

2. RDD vs. DataFrame、DataSet

Spark Streaming中的DStream編程接口是RDD，咱們須要對RDD進行處理，處理起來較爲費勁且不美觀。

stream.foreachRDD(rdd => {
balabala(rdd)
})

Structured Streaming使用DataFrame、DataSet的編程接口，處理數據時可使用Spark SQL中提供的方法，數據的轉換和輸出會變得更加簡單。

spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "hadoop01:9092")
.option("subscribe", "order_data")
.load()
.select($"value".cast("string"))
.as[String]
.writeStream
.outputMode("complete")
.format("console")

3. Process Time vs. Event Time

Process Time：流處理引擎接收到數據的時間

Event Time：時間真正發生的時間

Spark Streaming中因爲其微批的概念，會將一段時間內接收的數據放入一個批內，進而對數據進行處理。劃分批的時間是Process Time，而不是Event Time，Spark Streaming沒有提供對Event Time的支持。

Structured Streaming提供了基於事件時間處理數據的功能，若是數據包含事件的時間戳，就能夠基於事件時間進行處理。

這裏以窗口計數爲例說明一下區別：

咱們這裏以10分鐘爲窗口間隔，5分鐘爲滑動間隔，每隔5分鐘統計過去10分鐘網站的pv

假設有一些遲到的點擊數據，其自己事件時間是12:01，被spark接收到的時間是12:11；在spark streaming的統計中，會堅決果斷的將它算做是12:05-12:15這個範圍內的pv，這顯然是不恰當的；在structured streaming中，可使用事件時間將它劃分到12:00-12:10的範圍內，這纔是咱們想要的效果。

4. 可靠性保障

二者在可靠性保證方面都是使用了checkpoint機制。

checkpoint經過設置檢查點，將數據保存到文件系統，在出現出故障的時候進行數據恢復。

在spark streaming中，若是咱們須要修改流程序的代碼，在修改代碼從新提交任務時，是不能從checkpoint中恢復數據的（程序就跑不起來），是由於spark不認識修改後的程序了。

在structured streaming中，對於指定的代碼修改操做，是不影響修改後從checkpoint中恢復數據的。具體可參見文檔。

5. sink

兩者的輸出數據（寫入下游）的方式有很大的不一樣。

spark streaming中提供了foreachRDD()方法，經過本身編程實現將每一個批的數據寫出。

stream.foreachRDD(rdd => {
save(rdd)
})

structured streaming自身提供了一些sink(Console Sink、File Sink、Kafka Sink等)，只要經過option配置就可使用；對於須要自定義的Sink，提供了ForeachWriter的編程接口，實現相關方法就能夠完成。

// console sink
val query = res
.writeStream
.outputMode("append")
.format("console")
.start()

最後

整體來講，structured streaming有更簡潔的API、更完善的流功能、更適用於流處理。而spark streaming，更適用於與偏批處理的場景。

在流處理引擎方面，flink最近也很火，值得咱們去學習一番。

reference

https://blog.knoldus.com/spark-streaming-vs-structured-streaming/

https://dzone.com/articles/spark-streaming-vs-structured-streaming

https://spark.apache.org/docs/2.0.2/streaming-programming-guide.html

https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html

以上爲我的理解，若有不對的地方，歡迎交流指正。

我的公衆號：碼農峯，推送最新行業資訊，每週發佈原創技術文章，歡迎你們關注。