完了！生產事故！幾百萬消息在消息隊列裏積壓了幾個小時！

做者：中華石杉

來源：github.com/doocs/advan…

1、面試題

如何解決消息隊列的延時以及過時失效問題？消息隊列滿了之後該怎麼處理？有幾百萬消息持續積壓幾小時，說說怎麼解決？

2、面試官內心分析

你看這問法，其實本質針對的場景，都是說，可能你的消費端出了問題，不消費了，或者消費的極其極其慢。接着就坑爹了，可能你的消息隊列集羣的磁盤都快寫滿了，都沒人消費，這個時候怎麼辦？或者是整個這就積壓了幾個小時，你這個時候怎麼辦？或者是你積壓的時間太長了，致使好比rabbitmq設置了消息過時時間後就沒了怎麼辦？

因此就這事兒，其實線上挺常見的，通常不出，一出就是大case，通常常見於，舉個例子，消費端每次消費以後要寫mysql，結果mysql掛了，消費端hang那兒了，不動了。或者是消費端出了個什麼叉子，致使消費速度極其慢。

3、面試題分析

關於這個事兒，咱們一個一個來梳理吧，先假設一個場景，咱們如今消費端出故障了，而後大量消息在mq裏積壓，如今事故了，慌了

一、大量消息在mq裏積壓了幾個小時了還沒解決

幾千萬條數據在MQ裏積壓了七八個小時，從下午4點多，積壓到了晚上很晚，10點多，11點多。

這個是咱們真實遇到過的一個場景，確實是線上故障了，這個時候要否則就是修復consumer的問題，讓他恢復消費速度，而後傻傻的等待幾個小時消費完畢。這個確定不能在面試的時候說吧。

一個消費者一秒是1000條，一秒3個消費者是3000條，一分鐘是18萬條，1000多萬條。

因此若是你積壓了幾百萬到上千萬的數據，即便消費者恢復了，也須要大概1小時的時間才能恢復過來。

通常這個時候，只能操做臨時緊急擴容了，具體操做步驟和思路以下：

（1）先修復consumer的問題，確保其恢復消費速度，而後將現有cnosumer都停掉；

（2）新建一個topic，partition是原來的10倍，臨時創建好原先10倍或者20倍的queue數量；

（3）而後寫一個臨時的分發數據的consumer程序，這個程序部署上去消費積壓的數據，消費以後不作耗時的處理，直接均勻輪詢寫入臨時創建好的10倍數量的queue；

（4）接着臨時徵用10倍的機器來部署consumer，每一批consumer消費一個臨時queue的數據；

（5）這種作法至關因而臨時將queue資源和consumer資源擴大10倍，以正常的10倍速度來消費數據；

（6）等快速消費完積壓數據以後，得恢復原先部署架構，從新用原先的consumer機器來消費消息；

二、這裏咱們假設再來第二個坑

假設你用的是rabbitmq，rabbitmq是能夠設置過時時間的，就是TTL，若是消息在queue中積壓超過必定的時間就會被rabbitmq給清理掉，這個數據就沒了。那這就是第二個坑了。這就不是說數據會大量積壓在mq裏，而是大量的數據會直接搞丟。

這個狀況下，就不是說要增長consumer消費積壓的消息，由於實際上沒啥積壓，而是丟了大量的消息。咱們能夠採起一個方案，就是批量重導，這個咱們以前線上也有相似的場景幹過。就是大量積壓的時候，咱們當時就直接丟棄數據了，而後等過了高峯期之後，好比你們一塊兒喝咖啡熬夜到晚上12點之後，用戶都睡覺了。

這個時候咱們就開始寫程序，將丟失的那批數據，寫個臨時程序，一點一點的查出來，而後從新灌入mq裏面去，把白天丟的數據給他補回來。也只能是這樣了。

假設1萬個訂單積壓在mq裏面，沒有處理，其中1000個訂單都丟了，你只能手動寫程序把那1000個訂單給查出來，手動發到mq裏去再補一次。

三、而後咱們再來假設第三個坑

若是走的方式是消息積壓在mq裏，那麼若是你很長時間都沒處理掉，此時致使mq都快寫滿了，咋辦？這個還有別的辦法嗎？沒有，誰讓你第一個方案執行的太慢了，你臨時寫程序，接入數據來消費，消費一個丟棄一個，都不要了，快速消費掉全部的消息。而後走第二個方案，到了晚上再補數據吧。

另外，你們有什麼好的想法，歡迎留言補充哦！

熱門內容：

一、爲何阿里巴巴不建議在for循環中使用"+"進行字符串拼接?

二、IDEA已經18歲了！這個好用的插件應該告訴你了！

三、GitHub居然還能夠這樣玩？漲知識了！

四、阿里分佈式事務框架GTS開源啦！

五、程序員：平時的你 vs 面試的你！

六、一場近乎完美基於Dubbo的微服務改造實踐

七、你還在 SELECT * 嗎？

八、困擾多年的Java泛型解惑之 extends T>和 super T>

【視頻福利】2T免費學習視頻，搜索或掃描上述二維碼關注微信公衆號：Java後端技術（ID: JavaITWork）回覆：1024，便可免費獲取！內含SSM、Spring全家桶、微服務、MySQL、MyCat、集羣、分佈式、中間件、Linux、網絡、多線程，Jenkins、Nexus、Docker、ELK等等免費學習視頻，持續更新！