sparkstreaming同時消費多個topic的數據實現exactly-once的語義

最近不少人問我,sparkstreaming怎麼消費多個topic的數據,本身維護offest,其實這個跟消費一個topic是同樣的,但仍是有不少問我,今天就簡單的寫一個demo,供你們參考,直接上代碼吧,已經測試過了.我把offest存到redis裏了,固然也能夠保存在zk,kafka,mysql,hbase中均可以,看本身的選擇.(用了3個topic,每一個topic5個partition.)

>>阅读原文<<