Spark機器學習第4課: 深度解析Structured Streaming

Structed Streaming在2.0推出的時候,其實並非很成熟,包括一些功能的不完善和會有bugapp

可是它給咱們帶來了全新的視野,致使咱們能夠更容易去使用流處理,和更高效使用流去處理數據事件

 

現實中的目標是end-to-end continuous appclass

它已經不是一個流式處理的概念,就是一個應用程序的概念,這是一個continuous app,bug

什麼是一個continus app?程序

也就是應用程序是在不斷地運行和發生着:1.數據不斷地遞增(Kafka會不斷地有數據產生)im

2.應用程序7*24小時運行總結

end-to-end:流處理知識整個IT系統的一個環節,流的處理結果爲下一個環節作準備數據

 

因此Spark 2.0開創性地提出了這一理念,實現這一理念的就是Structed Streaming查詢

 

 

EventTime(基於事件的處理,之前是不可想象的)img

能夠經過JDBC去查詢Spark Streaming的處理結果

 

 

 

概括總結:1.Structed Streaming in Spark 2.0

2.看圖理解Spark Streaming 的目標

3.實現Structed Streaming的重點

 

相關文章
相關標籤/搜索