消息持續積壓幾小時怎麼辦

 

大量消息在mq裏積壓了幾個小時了還沒解決  

　　幾千萬條數據在MQ裏積壓了七八個小時，最簡單的方法可讓他恢復消費速度，而後等待幾個小時消費完畢。 

　　一個消費者一秒是1000條，一秒3個消費者是3000條，一分鐘是18萬條，1000多萬條 ，因此若是你積壓了幾百萬到上千萬的數據，即便消費者恢復了，也須要大概1小時的時間才能恢復過來  

　　通常這個時候，只能操做臨時緊急擴容了，具體操做步驟和思路以下：  

　　　　先修復consumer的問題，確保其恢復消費速度，而後將現有cnosumer都停掉

　　　　新建一個topic，partition是原來的10倍，臨時創建好原先10倍或者20倍的queue數量

　　　　而後寫一個臨時的分發數據的consumer程序，這個程序部署上去消費積壓的數據，消費以後不作耗時的處理，直接均勻輪詢寫入臨時創建好的10倍數量的queue

　　　　接着臨時徵用10倍的機器來部署consumer，每一批consumer消費一個臨時queue的數據

　　　　這種作法至關因而臨時將queue資源和consumer資源擴大10倍，以正常的10倍速度來消費數據

　　　　等快速消費完積壓數據以後，得恢復原先部署架構，從新用原先的consumer機器來消費消息

 

RabbitMQ中因爲消息積壓致使過時被清理了怎麼辦

　　假設你用的是rabbitmq，rabbitmq是能夠設置過時時間的，就是TTL，若是消息在queue中積壓超過必定的時間就會被rabbitmq給清理掉，這個數據就沒了。

　　這就不是說數據會大量積壓在mq裏，而是大量的數據會直接搞丟。  

　　這個狀況下，就不是說要增長consumer消費積壓的消息，由於實際上沒啥積壓，而是丟了大量的消息。

　　咱們能夠採起一個方案，就是批量重導。就是大量積壓的時候，咱們當時就直接丟棄數據了，而後等過了高峯期之後，這個時候咱們就開始寫程序，將丟失的那批數據，寫個臨時程序，一點一點的查出來，而後從新灌入mq裏面去，把白天丟的數據給他補回來。

　　假設1萬個訂單積壓在mq裏面，沒有處理，其中1000個訂單都丟了，你只能手動寫程序把那1000個訂單給查出來，手動發到mq裏去再補一次