壓測過程當中出現ops斷崖式下跌緣由及排解

壓測機器： 100臺docker

redis集羣：16個分片

在開始壓測的半個小時中，一直很穩定，ops穩定在20w左右。可是接下來忽然ops斷崖式下跌，ops降到了3w如下。而後持續一段時間，直至變爲0。

問題排查:

1. 檢查docker

docker都很健康，cpu佔用率，內存佔用率都正常，不到30%。網絡情況也很好。

2. 檢查mq

mq也正常，響應時間沒有被能夠拉長

3. 檢查redis集羣

redis集羣中，發現全部分片內存基本上被打滿

因爲內存被打滿，致使redis會強制進行鍵驅逐操做，此操做會拉長請求的響應時間，致使大量請求被阻塞。此時會有大量客戶端鏈接操做：

果不其然，能夠看到大量客戶端鏈接瞬間涌入，形成總體的ops降低。

解決方案：

清理掉壓滿的分片便可。或者採起擴容方案。