MCQ消息丟失排查

此隊列特徵延遲消費,約定*分鐘時間沒到從新入隊。網絡

在此期間消息丟失,致使不能正常被消費。tcp

1、問題分析:工具

  • tcp協議很是可靠,不多是異常丟消息。
  • 隊列中只有特定內容的消息出現異常丟失,網絡也並沒有異常
  • 初步懷疑有人故意消費

2、問題排查:學習

    業務提供:一、出現問題的消息內容; 二、隊列名;三、消費詳情日誌

    服務日誌:一、因爲服務端只記錄寫入消息,並不記錄寫入源於,消費源隊列

                        二、排查發現寫入(服務端日誌寫入隊列數目)的總比正常消費(業務提供消費數目)的多一天。ip

                        三、抓包獲取消費iptest

    抓包分析詳情以下:im

    一、tcpdump -i eth1 -s0 -w test.pcap port XXXX,(注意添加port,要否則抓的包會很大)協議

    二、使用wireshark檢索關鍵字(丟失消息關鍵字)查看:

    

    三、發現異常ip,定位問題,果真有人在偷偷消費。

3、結論:

    一、這個問題雖然很簡單,可是是須要業務方與dba相互配合完成的,缺一不可。

    二、咱們須要完美的結合tcpdump與Wireshark相關工具進行輔助,不得不說wireshark的檢索功能很贊。值得學習

相關文章
相關標籤/搜索