kibana-Request Timeout after 30000ms故障解決

etc在日誌系統搭建起來後大半年一直沒有出現大的問題,在上個月的某段時間,我慢慢發現有這個問題的存在了,首先是本身遇到過,後面也有人反應這個問題。因而就開始對這個問題進行分析:nginx

1.由於服務器是放在國外的(新加坡的),因此考慮到是否是網絡延時較大致使的,我經過新加坡的代理進行訪問仍是會出現這個問題。我到新加坡代理的延遲不高,新加坡代理到ELK主機的延遲也不高。最後排除是網絡問題致使的,可是後期仍是會對ELK主機在香港進行代理下,加快訪問速度。後端

2.考慮到是否是服務器進程較多,內存不足,IO讀寫阻塞。首先說下咱們服務器的配置——4G運行內存,2CPU ,硬盤大小我不記得了(好像是100GB)。咱們在這個主機上面搭建了服務器

ELK的logstash +elasticsearch +kibana  +nginx  ,以及zabbix agent,file2ban等。我經過top查看CPU負載不高,很正常,IO也正常,可是我以前給elasticsearch 的JVM配置中只給了1G內存,由於我前期考慮到若是elasticsearch 中佔有了太多內存,那麼其餘服務logstash或者是kibana容易因爲內存不足進程被殺死。我以爲多是這個問題致使的。elasticsearch 須要的內存不足。後面我將配置改成elasticsearch 的JVM配置爲2G內存,發現這個問題消失了。網絡

最後總結下:若是ELK出現這種問題的話我以爲有兩種解決方法:jvm

  1,若是機器的內存仍是畢竟充足的話,那麼就給elasticsearch多一點內存,配置文件/etc/elasticsearch/jvm.optionselasticsearch

  

  2,若是機器的內存不是那麼的充足的話,咱們能夠改改後端彈性搜索的閾值。修改配置文件/etc/kibana/kibana.yml的第66行,將#去掉,而後將30000毫秒(也就是30s)代理

更改爲40000(40秒),這個根據實際狀況進行修改。日誌

  

以上就是關於這個問題的解決,在此記錄下,便於之後查詢。blog

相關文章
相關標籤/搜索