kafka與SparkStreaming整合

1、Receiver模式 接收器模式，必須有一個Task接收數據 接收器模式的話很容易造成丟失數據。如果接收數據的期間，Driver掛掉，那麼在Excuter內存中的數據多多少少會丟失一些， WAL機制優化機制，可以將數據存儲在Hdfs一份，但一定要設置Checkpoint 持久化 纔可以放磁盤 不tm開啓放個屁。 1.6之後這種模式就被移除了 Direct模式 處理數據就去拿，而不是被動的接收數

>>阅读原文<<