一、spark streaming

Spark Streaming是Spark Core API的一種擴展，它可以用於進行大規模、高吞吐量、容錯的實時數據流的處理。它支持從很多種數據源中讀取數據，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCP Socket。並且能夠使用類似高階函數的複雜算法來進行數據處理，比如map、reduce、join和window。處理後的數據可以被保存到文件系統、數據庫

>>阅读原文<<