SparkStreaming讀取kafka數據的兩種方式

Receive Receive是使用的高級API,須要消費者鏈接Zookeeper來讀取數據。是由Zookeeper來維護偏移量,不用咱們來手動維護,這樣的話就比較簡單一些,減小了代碼量。可是天下沒有免費的午飯,它也有不少缺點: 1.致使丟失數據。它是由Executor內的Receive來拉取數據並存放在內存中,再由Driver端提交的job來處理數據。這樣的話,若是底層節點出現錯誤,就會發生數據
相關文章
相關標籤/搜索