記一次Strom任務失敗致使的大量重複數據

問題： 大量的failed，致使storm大量重複數據。 緣由： spout的消息隊列過大，bolt處理不過來，產生大量堆積。加上每條消息處理完成的最大默認時間是30S，若是30S沒有處理完成就會認爲失敗。ack機制，不停的重複發送。ide 解決： 修改兩個參數： topology.message.timeout.secs: 30 topology.max.spout.pending:null o

>>阅读原文<<