Spark2.0 Structured Streaming

綜述 Structured Streaming是構建在Spark SQL引擎上的流式數據處理引擎，使用Scala編寫，具備容錯功能。你能夠像在使用靜態RDD數據同樣來編寫你的流式計算過程。當流數據接二連三的產生時，Spark SQL將會增量的，持續不斷的處理這些數據並將結果更新到結果集中。你可使用DataSet/DataFrame API來展示數據流的aggregations, event-tim

>>阅读原文<<