Spark 之SparkStreaming 1

本文假設讀者已經完成了Spark安裝，能夠正常運行spark-shell

啓動 spark-shell ，

# spark-shell窗口
./spark-shell --master local[2] # 使用2個core

local[2]，由於須要分配一個來監聽。

另外打開一個shell窗口

經過socket往 本機9999端口發送數據

# nc窗口
nc -lk 9999

回到spark-shell窗口，

import org.apache.spark.streaming.{Durations, StreamingContext}
// 建立StreamingContext，每5秒批量執行次任務
val ssc = new StreamingContext(sc,Durations.seconds(5))
// 監聽本地9999端口
val words = ssc.socketTextStream("localhost",9999).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
words.print
ssc.start

而後在nc窗口，隨便按下幾個帶空格的數據。以下圖：

最多過5秒，能夠看到spark-shell窗口有反應了。

至此，簡單的SparkStreaming已經跑通。

官方SparkStreaming入門