pyspark streaming簡介 和 消費 kafka示例

簡介 並不是真正的實時處理框架，只是按照時間進行微批處理進行，時間可以設置的儘可能的小。 將不同的額數據源的數據經過SparkStreaming 處理之後將結果輸出到外部文件系統 特點 低延時 能從錯誤中搞笑的恢復: fault-tolerant 能夠運行在成百上千的節點 能夠將批處理、機器學習、圖計算等自框架和Spark Streaming 綜合起來使用 粗粒度 Spark Streaming接

>>阅读原文<<